1947年5月，國民黨陸軍總司令顧祝同在徐州設立司令部統一指揮山東戰場部隊，集中24個整編師編成3個機動兵團，采取加強縱深、密集靠攏、穩紮穩打、逐漸推進的戰法，由南向北向魯中山區推進。
在這三個機動兵團中，實力最強悍的就是湯恩伯率領的第一兵團，擁有20萬大軍，其中整編74師擁有3.2萬人，戰鬥力極其強悍，号稱是天下第一軍，禦林軍，師長張靈甫更是國民黨軍中的一員悍将。但是戰鬥開始後，張靈甫率領的整編74師大膽突入，給華野圍殲74師創造了戰機。
在攻打整編74師之前，華野主要上司糾結了很長時間，因為整編74師戰鬥力很強悍，這支部隊在抗戰時連日軍都不是對手。而且當時在整編74師有國民黨軍的四五十萬軍隊，如果不能迅速解決掉整編74師，那麼整個華野可能都會陷入國民黨軍的重圍中。
但是粟裕在經過認真考慮後，還是堅持要打整編74師，他認為隻要阻擊部隊能夠抵擋住援軍三天的時間，就有把握集中五比一的優勢徹底消滅整編74師。陳毅聽完粟裕的話後很高興，說：“
好！我們就是要有從百萬大軍中取上将首級的氣概！
”
1947年5月12日，陳毅，粟裕，譚震林召集華野各縱隊首長開作戰會議，會議上，粟裕宣布了打整編74師的決心，具體部署是：以第一，四，六，八，九縱和特種兵縱隊擔任主攻，以二，三，七，十縱擔任阻援，擔任主攻的五個縱隊都是解放軍的精銳部隊，戰鬥力十分強悍。其中一縱司令員葉飛，四縱司令員陶勇，六縱司令員王必成，八縱司令員王建安，九縱司令員許世友都是我軍有名的将領，就是後來的淮海戰役，也沒有聚齊這麼多名将。
戰鬥開始之前，粟裕把獨立師交給了一縱司令員葉飛，這樣葉飛手裡就有了四個師的兵力，但是一縱的任務也是最為繁重的，既要負責攻打孟良崮，還要阻擋黃百韬整編25師，還有整編65師的增援。當時一縱剛從魯西南回來，戰士十分疲勞，但是葉飛沒有二話，接受完任務就回部隊了。
王必成的六縱隐蔽在距離孟良崮百裡之外的費縣銅石鎮，六縱司令員王必成接到攻打整編74師的任務後十分興奮，立刻率部向垛莊挺進，準備切斷整編74師的後路。對于華野的調兵遣将，張靈甫并非不知道，但是他太狂妄了，他之前立下了三年升上将的誓言，當他看到其華野主力向他包圍的時候，他不但不撤退，反而認為這是個好機會，把重武全器留在垛莊，由一個團看管，其他的部隊全部上了孟良崮。
其實張靈甫中心開花的想法也并非是癡心妄想，在他周圍有四五十萬的國民黨軍部隊，這些部隊遠的距離他也就一天的路程，近得不到十裡，一旦他能堅守個兩三天，華野說不定真有可能被國軍主力包圍。但是國民黨軍内部派系鬥争激烈，沒有多少人願意看到他立下如此大功。
13日晚，我華野一縱，六縱，八縱開始行動，向整編74師後方插去。王建安率領華野
第8縱隊主力攻占桃花山、磊石山、鼻子山等要點，割斷了整編第74師與整編第83師的聯系，王必成率領六縱攻占垛莊，繳獲了整編74師的重武器，切斷了整編74師的後路。
一縱司令員葉飛則是壓力最大的，其中一縱3師要攻占曹莊及其以北高地，逼近蒙陰，構成對外正面阻擊整編第65師，廖政國率領的一縱一師縱隊主力攻占黃鬥頂山、堯山、天馬山、界牌等要點，割斷了整編第74師與整編第25師的聯系，葉飛要率領一縱2師和獨立師向孟良崮開進，負責攻打整編74師。
葉飛率領2師開進的途中，和整編74師靠得很近，74師在上崗上走，2師在下面走。當偵查員彙報上面的是國民黨軍整編74師後，葉飛指令部隊堅決前進，咬着牙往前走，不能停下，因為一旦被敵人發現，火力向下一壓，我軍一定會損失慘重，好在是張靈甫把底下的部隊當成整編25師了，沒有發現一縱。
74師畢竟是國民黨軍戰鬥力最強的部隊，雙方打得十分慘烈，一縱獨立師後來在總結說：“74師在戰術運用得相當熟練，在進攻中，善于小群之迂回動作，正面以少數兵力佯攻呐喊，另使用小集團兵力，從我軍兩側間隙前進，如其迂回部隊得手，正面佯攻部隊立刻向我軍發動進攻。其班排幹部指揮熟練，善于掌握部隊，撒得開收得攏，如發現我軍弱點，能夠迅速進行突擊。輕重機槍均能進行交叉火力，進行壓制射擊，經常打壞我軍機槍和機槍手。”
解放戰争期間，很少有國民黨軍敢和解放軍進行白刃戰，但是根據參加孟良崮戰役的華野老兵回憶，整編74師的白刃戰經驗是和日軍拼出來的，是以近戰格鬥的能力也很強，戰鬥力非同一般。
整編74師還有國民黨軍底層士兵和軍官的戰鬥素養很好，但是上層卻在勾心鬥角，張靈甫的老上級李天霞，此時是整編83師師長，負責掩護74師右側的安全。但是李天霞和張靈甫個人恩怨很深，在上級一再要求支援的情況下，李天霞隻派了戰鬥力最弱的57團前去支援，這個團曾在蘇中戰役中兩次被全殲，現在是由僞軍部隊改編來的，裝備差，士氣低落，李天霞想的就算這個團被華野殲滅了，自己的部隊也沒有什麼損失。
當然，也并非是所有國民黨軍部隊都不進行增援，雜牌軍出身的黃百韬就算個特例，他雖然是雜牌軍出身，但是對蔣介石十分忠誠，他率領的整編25師在裝備上雖然和張靈甫，李天霞沒法比，是全日械裝備，但是在這場戰鬥中卻表現的很頑強。
15日淩晨，蔣介石，顧祝同，湯恩伯分别向李天霞的整編83師，黃百韬的整編25師等增援部隊發出指令，要求向孟良崮靠攏，替張靈甫的整編74師解圍。但是李天霞依然是陽奉陰違，還是派那一個團象征性地做做樣子。
黃百韬沒有打滑頭仗，他在飛機大炮的掩護下，指揮整編25師主力以人海戰術，拼命向我阻擊的一縱一師發動密集進攻，雙方還在山坡上展開了慘烈的白刃戰，殺聲震天，屍橫遍野，慘不忍睹。一縱一師師長廖政國雖然有四個團的兵力，但是有兩個團是剛從地方部隊上級上來的，戰鬥力薄弱。
黃百韬則繼續不惜代價地向一縱一師的阻擊陣地發動進攻，絲毫沒有儲存實力的意思，最後在付出重大傷亡後占領了覆俘山和界牌，雖然隻前進了不到五公裡，但和整編74師隻隔着一座天馬山，馬上就可以突破我軍防線了。
葉飛和廖政國的壓力都很大，葉飛既要指揮一縱主力攻打孟良崮上的整編74師，同時還要看着阻擊的部隊。到了15日下午四點，天馬山告急，黃百韬已經率領部隊攻打上了天馬山的半山腰，廖政國用光了手裡的所有預備隊，此時葉飛正在指揮攻打整編74師的戰鬥，想調兵也來不及了，陳毅和粟裕在指揮部裡倒吸了一口涼氣，擔心這場戰役就這樣被黃百韬給毀了。
就在這個時候，廖政國看到有一支部隊，正在沿着山溝向孟良崮方向前進，廖政國立刻攔住詢問，這才知道原來是四縱28團的一個營。廖政國對營長說：“我是一縱一師師長廖政國，我指令你們立刻趕去增援天馬山。”
營長很為難，說：“我營奉命攻擊孟良崮，任務緊急。”廖政國指着硝煙彌漫的天馬山說：“天馬山陣地得失，關系重大，如果敵人打通聯系，全局皆輸。我手裡隻剩下幾個警衛員，隻有使用所有到達這個地區的部隊。”營長考慮了一下說：“好，我執行你的指令。”
就這樣，這支部隊趕去和一師剩餘的部隊會合在一起，阻擊整編25師的進攻，這支生力軍上去後，很快就把整編25師的增援部隊打了下去。僅僅幾個小時，黃百韬收到了整編74師被全殲，張靈甫被擊斃的消息，為了防止華野反過來打他，立刻率領部隊撤退，黃百韬的努力在最後一步遭到了挫敗。
每次戰役結束後，我軍都會采取自願去留的政策，願意留下來的俘虜加入解放軍，願意走的發路費。但是此次戰鬥結束後，華野政治部下令各縱隊不得釋放整編74師俘虜，這可把俘虜的上萬74師官兵吓了一跳，但是後來華野政治部下令把這些俘虜編到各個縱隊中，以幫助華野各縱隊提高戰術水準。