1946年，在宿北戰役中，華野雖然重擊了敵四路進攻軍中的一路，但并未改變其他三路咄咄逼人之勢，形勢依然十分嚴峻。
華野如何擺脫被動局面？
隻有繼續打一個大殲滅戰，重擊敵軍。
權衡戰局，中共上下都瞄準了魯南。
進攻魯南的這一路敵軍，為敵整26師、整51師、整33師。其中，整26師及第1快速縱隊為蔣介石的嫡系部隊，由師長馬勵武指揮，全部美式裝備，是敵三個師中的主力。消滅了它，華東戰局即可好轉。
可是，整26師和第1快速縱隊是強敵，有戰鬥力，能去打它嗎？
粟裕認為打它，華野是有優勢的：一、它孤軍突出态勢，對它不利；二、它與整編59師有沖突，一旦挨打，後者不會積極增援；三、先打強敵，我軍雖有不利因素但也有有利條件，特别是戰役一開始，華野就可集中27個主力團。這樣，以27個團打敵6個團，兵力4倍半于敵，占有絕對優勢。
華野反常用兵，首先殲滅強敵馬勵武部的作戰部署由此确定。
1947年1月2日，魯南戰役開始發起。
參戰部隊一律夜行曉宿，隐蔽開進，前往指定地域集結待命，以一開戰即突然發起進攻，迅速包圍分割，各個殲敵。
不料，1師師長陶勇率部越過隴海路時，被敵空軍偵察發現。他連忙請示粟裕：“是否繼續晝夜兼程？”
粟裕回答：“繼續走。”
為什麼？
粟裕決定将計就計，造成敵人的錯覺。為此，他下令陶勇：“以營連為機關繼續白天行軍。”
馬勵武見此情景，分析說：“共軍一貫夜間行動，現在竟在白天行軍，共軍敗退山東，不堪再戰。”
結果，華野主力包抄過來，提前兩小時發起攻擊。經過一夜激戰，殲滅整26師師部及兩個旅大部，将整26部和第1快速縱隊包圍在一個狹小地區。
1月4日，華野對殘部發起總攻。
結果，在總攻開始前，天空突然雨雪交加，頓時坑裡積雪，道路泥濘難行。參謀請示粟裕：“計劃有無改變？”
粟裕果斷地說：“不變！這是天老爺幫我們的忙。雨雪交加，道路難行，把敵人的重裝備陷在那裡，就更難逃脫了。”
華野各部奉令冒雪攻擊，迅速全殲了号稱“國軍精華”的第1快速縱隊。
這時，馬勵武還畏縮在棗莊。
原來的作戰計劃并無攻擊棗莊之舉，隻有打峄縣的預案。粟裕隻打下峄縣不行，還要攻克棗莊，我才能改變戰局。因為棗莊是敵軍在魯南的重要據點之一，位于華野出擊方向翼側，如果不打下它，敵軍就能依托這個據點從側後攻擊華野。于是，粟裕決定繼續再戰，同時攻取峄縣、棗莊。
1月9日晚，峄縣戰鬥發起攻擊，華野隻用了兩小時即全殲敵守軍，活捉敵中将師長馬勵武。這時，駐守棗莊的敵整51師，還在狂妄地自吹棗莊“固若金湯”。同時，敵整11師及整64師、整74師等強敵均已出動增援棗莊。
1月19日下午，粟裕下令華野對棗莊守軍發起總攻。到20日13時，全殲敵整51師師部及兩個團，活捉中将師長周毓英以下官兵3700人。華野一攻下棗莊，敵多路援軍竟然吓得均不敢放膽前進。
至此，魯南戰役勝利結束。華野全殲敵整26師、整51師和第1快速縱隊共5.3萬餘人，活捉兩個中将師長，創造了華東戰場上一個戰役殲滅敵人數的新紀錄。毛主席兩次地緻電陳毅、粟裕：
“棗莊攻克，51師全殲，甚好甚慰。望對有功将土予以嘉獎”。
“魯南勝利，局面打開，我已奪取主動，敵已陷被動”。