1947年1月，陈毅，粟裕指挥山东野战军，华中野战军协同作战，华野在19天的时间里以伤亡8000人的代价歼灭整编26师，整编51师师部，四个旅以及一个快速纵队，共5.3万人，其中俘虏3.6万人。此次战役中，华野缴获坦克二十四辆，榴弹炮、野炮、山炮及其他火炮二百一十七门，汽车四百七十四辆。
鲁南战役胜利后，山东野战军，华中野战军合编为华东野战军。由于在鲁南战役缴获颇丰，尤其是在重武器方面，缴获太多，华野组建了第一支特种兵纵队，由陈锐霆担任司令员。鲁南战役结束之后，国民党内部的将领为掩盖过错，谎报军情，称华东野战军损失惨重，不能持续作战。
蒋介石相信了底下将领的说法，也认为华野损失很大，已经无力继续和国民作战了。蒋介石认为如果国民党军趁这个时候发动进攻，那么华野只能够固守临沂，而且蒋介石和国民党军将领认为华野一定会死守临沂，因为临沂是山东解放军的中心机关，也是当时中共在山东掌握的唯一一座大城市，这座城市连接着胶东解放区，鲁中解放军，鲁南解放区，地理位置十分重要。
在这种背景下，蒋介石集中了11个整编师30个旅的兵力，向临沂，蒙阴发动大举进攻，企图和华野在临沂城下决战。蒋介石把部队分成了两部分，南线以整编第19军军长欧震指挥8个整编师21个旅为主要突击集团，由台儿庄，新安镇等地向临沂发动进攻，北线以第2“绥靖”区副司令官李仙洲指挥的第46、第73、第12军为辅助突击集团，由淄川，博山等地对临沂发动进攻，南北两线对临沂形成夹击的态势。
为了完成这一作战计划，蒋介石亲自到徐州部署，并派参谋总长陈诚亲自坐镇指挥。当时的形势确实对华野很不利，不论是在装备上还是在兵员数量上，华野都不占据优势。在这种情况下，粟裕采取了集中力量歼敌一部的方法，来应对国民党军的进攻，他把目标盯上了北线的李仙洲兵团。
面对国民党军的重兵进攻，华野做出了防守临沂城，并对南线敌军发动进攻的态势，但实际上主力却秘密北移。1947年2月10日，华野一纵，四纵，六纵，七纵，八纵分三路秘密北上，驻胶东、渤海地区的第9、第10纵队南下博山、明水地区参战，同时又命令地方部队在运河上架桥，造成主力将西进和中野会合的假象。
2月15日，南线国民党军占领临沂，陈诚向蒋介石谎报战绩，说歼灭解放军16个旅。之后空军侦查到解放军在运河上架桥，蒋介石据此判断出华野损失惨重，命令李仙洲兵团加速南进，和南线国军会合。对于华野的行动，国民党军当时有一个人看的很清楚，他就是山东省主席兼第二绥靖区司令王耀武，他多次向蒋介石建议，要求李仙洲兵团停止南进，立刻后撤，但是蒋介石不但不听，反而训斥他，说他怯战畏敌，陈诚等人也纷纷向他发难。
1947年2月20日，王耀武通过一系列的情报侦查，确定自己的猜测是正确的，那就是华野准备围歼李仙洲兵团，立刻命令李仙洲后撤，陈诚当时还向蒋介石告了王耀武一状。但这个时候已经晚了，20日晚，华野各部纷纷发动进攻。敌整编46师师长韩练成还是地下党员，他在战斗开始后就藏起来，导致整编46师群龙无首，整个李仙洲兵团乱作一团。
莱芜战役仅仅进行了63个小时，三天都不到，李仙洲兵团六万多人就被全歼，其中五万人被俘，而华野仅仅伤亡了六千多人。战后，王耀武破口大骂：“五万多人，三天就被消灭光，就是放五万头猪，叫共军抓，三天也抓不完啊。”