1947年5月，国民党陆军总司令顾祝同在徐州设立司令部统一指挥山东战场部队，集中24个整编师编成3个机动兵团，采取加强纵深、密集靠拢、稳扎稳打、逐步推进的战法，由南向北向鲁中山区推进。
在这三个机动兵团中，实力最强悍的就是汤恩伯率领的第一兵团，拥有20万大军，其中整编74师拥有3.2万人，战斗力极其强悍，号称是天下第一军，御林军，师长张灵甫更是国民党军中的一员悍将。但是战斗开始后，张灵甫率领的整编74师大胆突入，给华野围歼74师创造了战机。
在攻打整编74师之前，华野主要领导纠结了很长时间，因为整编74师战斗力很强悍，这支部队在抗战时连日军都不是对手。而且当时在整编74师有国民党军的四五十万军队，如果不能迅速解决掉整编74师，那么整个华野可能都会陷入国民党军的重围中。
但是粟裕在经过认真考虑后，还是坚持要打整编74师，他认为只要阻击部队能够抵挡住援军三天的时间，就有把握集中五比一的优势彻底消灭整编74师。陈毅听完粟裕的话后很高兴，说：“
好！我们就是要有从百万大军中取上将首级的气概！
”
1947年5月12日，陈毅，粟裕，谭震林召集华野各纵队首长开作战会议，会议上，粟裕宣布了打整编74师的决心，具体部署是：以第一，四，六，八，九纵和特种兵纵队担任主攻，以二，三，七，十纵担任阻援，担任主攻的五个纵队都是解放军的精锐部队，战斗力十分强悍。其中一纵司令员叶飞，四纵司令员陶勇，六纵司令员王必成，八纵司令员王建安，九纵司令员许世友都是我军有名的将领，就是后来的淮海战役，也没有聚齐这么多名将。
战斗开始之前，粟裕把独立师交给了一纵司令员叶飞，这样叶飞手里就有了四个师的兵力，但是一纵的任务也是最为繁重的，既要负责攻打孟良崮，还要阻挡黄百韬整编25师，还有整编65师的增援。当时一纵刚从鲁西南回来，战士十分疲劳，但是叶飞没有二话，接受完任务就回部队了。
王必成的六纵隐蔽在距离孟良崮百里之外的费县铜石镇，六纵司令员王必成接到攻打整编74师的任务后十分兴奋，立刻率部向垛庄挺进，准备切断整编74师的后路。对于华野的调兵遣将，张灵甫并非不知道，但是他太狂妄了，他之前立下了三年升上将的誓言，当他看到其华野主力向他包围的时候，他不但不撤退，反而认为这是个好机会，把重武全器留在垛庄，由一个团看管，其他的部队全部上了孟良崮。
其实张灵甫中心开花的想法也并非是痴心妄想，在他周围有四五十万的国民党军部队，这些部队远的距离他也就一天的路程，近得不到十里，一旦他能坚守个两三天，华野说不定真有可能被国军主力包围。但是国民党军内部派系斗争激烈，没有多少人愿意看到他立下如此大功。
13日晚，我华野一纵，六纵，八纵开始行动，向整编74师后方插去。王建安率领华野
第8纵队主力攻占桃花山、磊石山、鼻子山等要点，割断了整编第74师与整编第83师的联系，王必成率领六纵攻占垛庄，缴获了整编74师的重武器，切断了整编74师的后路。
一纵司令员叶飞则是压力最大的，其中一纵3师要攻占曹庄及其以北高地，逼近蒙阴，构成对外正面阻击整编第65师，廖政国率领的一纵一师纵队主力攻占黄斗顶山、尧山、天马山、界牌等要点，割断了整编第74师与整编第25师的联系，叶飞要率领一纵2师和独立师向孟良崮开进，负责攻打整编74师。
叶飞率领2师开进的途中，和整编74师靠得很近，74师在上岗上走，2师在下面走。当侦查员汇报上面的是国民党军整编74师后，叶飞命令部队坚决前进，咬着牙往前走，不能停下，因为一旦被敌人发现，火力向下一压，我军一定会损失惨重，好在是张灵甫把底下的部队当成整编25师了，没有发现一纵。
74师毕竟是国民党军战斗力最强的部队，双方打得十分惨烈，一纵独立师后来在总结说：“74师在战术运用得相当熟练，在进攻中，善于小群之迂回动作，正面以少数兵力佯攻呐喊，另使用小集团兵力，从我军两侧间隙前进，如其迂回部队得手，正面佯攻部队立刻向我军发动进攻。其班排干部指挥熟练，善于掌握部队，撒得开收得拢，如发现我军弱点，能够迅速进行突击。轻重机枪均能进行交叉火力，进行压制射击，经常打坏我军机枪和机枪手。”
解放战争期间，很少有国民党军敢和解放军进行白刃战，但是根据参加孟良崮战役的华野老兵回忆，整编74师的白刃战经验是和日军拼出来的，所以近战格斗的能力也很强，战斗力非同一般。
整编74师还有国民党军底层士兵和军官的战斗素养很好，但是上层却在勾心斗角，张灵甫的老上级李天霞，此时是整编83师师长，负责掩护74师右侧的安全。但是李天霞和张灵甫个人恩怨很深，在上级一再要求支援的情况下，李天霞只派了战斗力最弱的57团前去支援，这个团曾在苏中战役中两次被全歼，现在是由伪军部队改编来的，装备差，士气低落，李天霞想的就算这个团被华野歼灭了，自己的部队也没有什么损失。
当然，也并非是所有国民党军部队都不进行增援，杂牌军出身的黄百韬就算个特例，他虽然是杂牌军出身，但是对蒋介石十分忠诚，他率领的整编25师在装备上虽然和张灵甫，李天霞没法比，是全日械装备，但是在这场战斗中却表现的很顽强。
15日凌晨，蒋介石，顾祝同，汤恩伯分别向李天霞的整编83师，黄百韬的整编25师等增援部队发出命令，要求向孟良崮靠拢，替张灵甫的整编74师解围。但是李天霞依然是阳奉阴违，还是派那一个团象征性地做做样子。
黄百韬没有打滑头仗，他在飞机大炮的掩护下，指挥整编25师主力以人海战术，拼命向我阻击的一纵一师发动密集进攻，双方还在山坡上展开了惨烈的白刃战，杀声震天，尸横遍野，惨不忍睹。一纵一师师长廖政国虽然有四个团的兵力，但是有两个团是刚从地方部队上级上来的，战斗力薄弱。
黄百韬则继续不惜代价地向一纵一师的阻击阵地发动进攻，丝毫没有保存实力的意思，最后在付出重大伤亡后占领了覆俘山和界牌，虽然只前进了不到五公里，但和整编74师只隔着一座天马山，马上就可以突破我军防线了。
叶飞和廖政国的压力都很大，叶飞既要指挥一纵主力攻打孟良崮上的整编74师，同时还要看着阻击的部队。到了15日下午四点，天马山告急，黄百韬已经率领部队攻打上了天马山的半山腰，廖政国用光了手里的所有预备队，此时叶飞正在指挥攻打整编74师的战斗，想调兵也来不及了，陈毅和粟裕在指挥部里倒吸了一口凉气，担心这场战役就这样被黄百韬给毁了。
就在这个时候，廖政国看到有一支部队，正在沿着山沟向孟良崮方向前进，廖政国立刻拦住询问，这才知道原来是四纵28团的一个营。廖政国对营长说：“我是一纵一师师长廖政国，我命令你们立刻赶去增援天马山。”
营长很为难，说：“我营奉命攻击孟良崮，任务紧急。”廖政国指着硝烟弥漫的天马山说：“天马山阵地得失，关系重大，如果敌人打通联系，全局皆输。我手里只剩下几个警卫员，只有使用所有到达这个地区的部队。”营长考虑了一下说：“好，我执行你的命令。”
就这样，这支部队赶去和一师剩余的部队会合在一起，阻击整编25师的进攻，这支生力军上去后，很快就把整编25师的增援部队打了下去。仅仅几个小时，黄百韬收到了整编74师被全歼，张灵甫被击毙的消息，为了防止华野反过来打他，立刻率领部队撤退，黄百韬的努力在最后一步遭到了挫败。
每次战役结束后，我军都会采取自愿去留的政策，愿意留下来的俘虏加入解放军，愿意走的发路费。但是此次战斗结束后，华野政治部下令各纵队不得释放整编74师俘虏，这可把俘虏的上万74师官兵吓了一跳，但是后来华野政治部下令把这些俘虏编到各个纵队中，以帮助华野各纵队提高战术水平。