全面进攻失败后，老蒋又调集了45万大军对山东解放区发动了重点进攻。为了抢占头功，张灵甫置顾祝同“密集靠拢，滚筒前进”的战术于不顾，命令整编74师全速突进，很快和左右两翼的黄百韬与李天霞拉开了数十公里的距离。黄百韬见张灵甫冲得太猛，有被华野包围的危险，就打电话让他回师天马岭，向自己和李天霞靠拢。但张灵甫自恃装备精良，战斗力强悍，认为华野不敢和自己硬碰硬，因此拒绝了黄百韬的提议，最终被华野包围在了孟良崮地区。
经过三天激战，我军将整编74师全歼，张灵甫兵败身亡。有人说整编74师之所以被全歼，根本原因就在于上了孟良崮这个绝地。如果当初不上孟良崮，而是在平原地带坚守，凭借其强大的火力优势，我军根本就打不动他。那么，这个设想真的成立吗？张灵甫不上孟良崮，74师就不会覆灭吗？要回答这个问题其实非常简单，我们只要看看胡琏的遭遇就懂了。
胡琏和张灵甫是陕西老乡，又同是黄埔四期毕业，军校毕业后都成了老蒋的嫡系爱将，手握重兵。在讲究派系和出身的国军内部，这种关系十分难得，二人因此惺惺相惜，成了知己好友。当张灵甫在孟良崮被我军包围后，胡琏率部日夜兼程前往救援，但由于他距孟良崮较远且途中不时遇到我军阻击，因此当他赶到孟良崮时，张灵甫早已兵败身亡。张灵甫的死使胡琏深受刺激，狂言要给自己的这个老乡复仇。
孟良崮战役结束后不久，国军又集中了30余万人的兵力向鲁中大举进攻，胡琏率领整编第11师一路猛冲，先后攻陷了界首、万德、平阴和南麻等地。为了调动敌人，粟裕率华野主力直插第后，进逼兖州和徐州。老蒋见状，急忙从鲁中抽调了7个整编师回援。这样一来，鲁中兵力空虚，只剩下了胡琏的整编第11师、黄百韬的整编第25师、王凌云的整编第9师和黄国梁的整编第64师，其中以胡琏的整编第11师最为靠前。
胡琏很快嗅到了危机，立即命令部队在南麻修筑工事，用了近一个月的时间，构筑起了密集的地堡群，每一个地堡群外围都设置了铁丝网和鹿砦等障碍物。然而即使修筑了如此完整的防御工事，胡琏在南麻战役爆发后的第4天就顶不住了，要不是黄百韬拼死救援，他就步张灵甫的后尘了。南麻战役的过程说明，即使张灵甫不上孟良崮，选择在平原坚守，74师也还是难逃全军覆没的命运。
之所以这么说有四点原因：首先，胡琏的整编11师也是国军五大主力之一，其装备和战斗力与整编74师相比毫不逊色；其次，胡琏的战场指挥和应变能力要比张灵甫高出一头；第三，华野在南麻战役中只投入了4个纵队的兵力，兵力比孟良崮战役少了一半多，即使如此，胡琏在有完备防御工事的情况下只守了4天就顶不住了。第四，张灵甫是在瞬间被包围的，根本就没有时间修建防御工事。因此以胡琏做参考的话，即使张灵甫不上孟良崮，选择在平原坚守，但在华野五个纵队的围攻下，依然会是全军覆没的结局。