1946年年底，宿北戰役剛剛結束，經過八、九天的讨論，中央與華野、山野達成魯南作戰的戰略部署，決心華野主力北上入魯與山東野戰軍完成殲滅進攻臨沂的敵軍；另外，為統一指揮經中央準許，華中野戰軍與山東野戰軍合并，華東野戰軍的建立終于邁出實質性的一步。
朱德與華東野戰軍同志
相比蘇中解放區，國民黨更注重對魯南解放區的進攻，在華東戰場25個師的敵軍中有一半多的兵力用于進攻魯南解放區，從徐州至棗莊敵軍呈長蛇陣擺開，互相拱衛，關鍵時刻可以抱團救援，這是薛嶽與粟裕較量半年多來總結的戰鬥經驗。
宿北戰役勝利後，國民黨在南北兩線損失近十萬部隊，作為南北兩線綏靖負責人，薛嶽與李默庵境遇相差甚大，李默庵雖然被粟裕打了個七戰七敗，但好在占領了長江沿岸諸鎮，沒有受到蔣介石的責罰，相反薛嶽在蘇北、魯南雖然發動了幾次戰役但均無多大建樹，在蔣介石面前碰了個灰頭土臉；為此在宿北戰役後，四路敵軍除一路被全殲外，其他兩路就地轉入防禦，隻有進攻臨沂的一路還保持進攻态勢。
敵軍趁山野主力南下之際占領臨沂西南部的卞莊、向城，距臨沂隻有三十公裡，在一字長蛇陣最前端的是國民黨整編二十六師及第一快速縱隊，師長馬勵武仗着這支蔣嫡系部隊在魯南橫沖直撞。特别是第一快速縱隊是蔣經國親手建立的，武器先進還配有坦克等機動武器，這支部隊曾在印緬戰場上一往無前，甚得美軍的稱贊。
協同整編二十六師進攻的部隊還有位于台兒莊附近的敵三十三軍馮治安部，該部系西北軍與中央軍素來不和，再就是位于二十六師背後駐守棗莊的整編五十一師，三部相距僅三十公裡呈品字形擺開。魯南作戰确定後，粟裕原計劃先打較弱的敵三十三軍，後來考慮到進攻魯南的敵軍太多，即使全殲整編三十三軍也很難扭轉魯南局勢，反而會過早地暴露我軍實力和作戰意圖，為此粟裕向陳毅建議改打敵實力最強的整編二十六師和第一快速縱隊，先弱後強，這是我軍一貫的作戰風格，然而在戰略需要的情況下，反正常作戰也是符合兵法以奇制勝的道理，更何況可以一次集中27個主力團，打敵軍6個團占有絕對的優勢；粟裕上一次反正常用兵還是在黃橋戰役上，先打韓德勤的獨立六師，時隔6年粟裕要再出奇兵。
粟裕
确定作戰目标粟裕即命第一縱隊(葉飛部)、第八師、第一師(陶勇部)從蘇北秘密北上，與已經到達魯南的第九師、第四師一個團、第十師和地方特務團會合。同時為遏制兩淮及漣水方向的敵整編74師、桂系第七軍等部，第二縱隊、第六師、第七師、第九縱及第十三旅等部由譚震林指揮，在蘇北沭陽一帶打援。
作戰方案提報中央後，中央軍委訓示：“
魯南作戰事關華東全局，此戰勝利即使蘇北各城全失，亦有辦法恢複
”中央軍委希望合并後的華東野戰軍打一場比宿北戰役更大的殲滅戰，以徹底改變華東局勢。在中央号召下，全軍上下堅定了魯南作戰的決心，政治上取得了前所未有的統一。
由于時間緊迫，具體的作戰部署在北上的途中制定，粟裕決定将參與魯南作戰的部隊分為左右兩路，右路以第八師、第九師、第十師、第四師之十團及魯南地區特務團組成，該部指揮由魯中軍區負責；左路以華野第一師和山野第一縱組成，歸野戰軍直接指揮，從作戰部署來看，粟裕對進軍魯南的第一仗還是非常謹慎的。
我軍如此大規模軍事行動，敵軍竟然一無所知，當陶勇部向北急行軍時，雖然被敵軍飛機偵查到，但仍未引起前線指揮官馬勵武的重視，臨近元旦他竟然擅離職守跑到後方峄城過年去了，酒過三巡後馬勵武竟揚言三天内攻入臨沂城，不然就砍了自己腦袋，然後就醉醺醺地看戲去了。《風波亭》未啟風波起，粟裕指令各部提前兩小時發動進攻。
敵軍正處在新年的快樂中，被四面八方的槍炮聲打懵了，尤其是缺少前線指揮的情況下，部隊變成沒有組織的瞎子，馬勵武接到前線戰報後趕緊給指揮部打電話結果電話線被我軍切斷，最後還是通過無線電向前線簡單地作了一番部署，然後慌忙向前線趕，結果還未走多遠便吓破膽的士兵哄了回來，馬勵武知道前線是回不去了。
鑒于宿北戰役的教訓，戰前會議上粟裕就向前線指揮員反複強調，打整編二十六師一定要快，分割與包圍同時進行，是以右路軍一開打就迅速向敵軍各部的結合點猛攻，第十師率先攻入傅山口，切斷整敵軍向棗莊的退路，同時阻擊棗莊方向的援軍；濱海警備旅攻占向城，切斷了整編二十六師師部169旅的聯系，其餘右路部隊也相繼攻克平山、青山、鳳凰山等敵軍防禦要點，完成了分割敵軍的戰役目的。
魯南戰役第一階段攻勢圖
左路軍是華東野戰軍最強的兩支部隊，最善于打硬仗、野戰，進攻一開始1縱便圍住駐守卞莊的一個團，主力部隊直奔馬家莊的二十六師師部和快速縱隊，1師南下迂回占領蘭陵、洪山等地切斷二十六師與三十三軍的聯系，并與由四馬寨南下的右路部隊彙合；經過一夜的戰鬥，右路軍消滅駐守太子堂的敵二十六師44旅大部，與左路軍形成對敵整編二十六師分割包圍的态勢。
分割與包圍雖然完成，但對于打敵第一快速縱隊我軍還是心存顧慮的，面對敵人的鐵王八，許多戰士還是第一次見，根本不知如何下手，整個華東野戰軍隻有陳毅同志熟悉坦克的構造，戰前會議上陳毅曾經講過坦克弱點，粟裕明白理論與實踐根本不是一回事，沒有經過實戰部隊很難對第一縱隊造成毀滅性打擊，一旦被敵軍坦克打開缺口，敵人很可能突破我軍包圍，是以粟裕指令對第一快速縱隊先圍而不打，硬骨頭留到最後啃。
華東野戰軍繳獲的坦克
1月4日華東野戰軍準備發動最後殲滅戰，此時天突然下起雨雪，粟裕當即下令進攻計劃不變，猬集于馬家莊、陳家橋等地的第一快速縱隊眼見救援無望，開始向西突圍，坦克、汽車、火炮混雜着部隊脫離戰場，場面逐漸失去控制；隻要有點戰争常識的人都知道，大白天在對方重兵包圍下脫離陣地是多麼可怕，但此時的敵軍根本顧不上了，仗着坦克開道向棗莊方向逃跑；結果沒跑多遠敵軍連人帶車陷入了漏汁湖泥沼地，寸步難行；緊接着華東野戰軍向敵人發起沖鋒，兩軍冒雨在泥潭中展開了肉搏。
交戰過程中敵軍坦克不斷向我軍開火，解放軍戰士用炸藥包、手榴彈炸坦克，甚至用鐵鍬、洋鎬砸坦克天線、觀察口，幾小時後這支由蔣美合建的現代化部隊徹底喪失了戰鬥力。一批批沾滿泥土的俘虜被押送上岸，坦克、汽車、大炮滿坡遍野，戰士們興奮地打掃戰場，根本顧不上身上還穿着濕透的棉衣和凍傷的雙手，一邊打掃還一邊講述着打坦克的經過。
在聚殲整編二十六師和快速縱隊的過程中，其他兩路敵軍也并非沒有救援，敵三十三軍一部進攻到橫山，棗莊的五十一師進至四馬寨、太平莊，兩路敵軍都被山東野戰軍打了回去，鑒于華東野戰軍攻勢太猛，敵軍隻能眼睜睜地看着友軍被全殲。此戰華東野戰軍殲敵三萬餘人，繳獲大量的武器裝備，馬勵武感歎道：“
此誠餘帶兵以來對内外作戰損失最慘痛之一役也
。”對于失敗的原因馬勵武歸結于，華東野戰軍有着完善的作戰計劃，國軍孤軍深入并且久立而不退，犯了兵家之大忌。
圍殲整編二十六師及第一快速縱隊是魯南戰役的第一階段，此後華東野戰軍雖然擴大戰果攻下棗莊全殲敵整編五十一師，單僅就戰役影響來看，第一階段意義更加重大，戰役規模也創解放戰争以來新高，兩大野戰軍經過兩次磨合徹底融合成具有統一指揮的華東野戰軍，粟裕戰術思想進一步提高，眼光不再局限一隅，而是瞄向更在的華東地區乃至全國。