全面进攻失败后，老蒋又调集重兵对山东解放区实行重点进攻。当时在山东的国军共25个整编师约45万人，其中包括了张灵甫的整编74师、胡琏的整编11师和邱清泉的整编第5军等王牌主力。此时华野的兵力有多少呢？共9个步兵纵队和一个特种兵纵队，约27万人，比敌军少了整整18万人。尽管占据了明显的兵力优势，但吸取了莱芜战役教训的陈诚这次格外小心，严厉要求所部“稳扎稳打，滚筒前进”。
陈诚的这种打法虽然拖慢了行进速度，但效果却不算差。由于国军紧紧抱在了一起，我军很难找到穿插和分割敌人的机会，回旋余地不断缩小，形势极为困难。1947年5月中旬，粟裕抓住了一闪即逝的战机，果断发起了孟良崮战役，经过三天激战，全歼了整编74师，张灵甫兵败身亡。战后老蒋老泪纵横：“以我绝对优势之革命武力，竟为劣势乌合之匪所陷害。真是空前大的损失，能不令人哀痛！”
接着老蒋话锋一转，谈到了孟良崮战役失败的原因，他认为整编74师之所以全军覆没主要有两点：第一，张灵甫“轻狂冒进”。在这次重点进攻中，张灵甫的整编74师隶属于第一兵团，归汤恩伯指挥。自解放战争爆发以来，整编74师在张灵甫的指挥下连战连胜，先后攻取了淮南、淮阴和涟水等地，战绩在国军中名列前茅。张灵甫由此志得意满，变得骄横无比。
但进入山东解放区以来，74师还没有取得什么亮眼的战绩。张灵甫认为造成这种局面的主要原因就是陈诚“滚筒前进”的打法限制了自己推进的速度。为了贪功加上他认为解放军根本就没有实力和自己硬碰硬，于是就命令部队全速前进，很快和两翼友军拉开了数十公里的距离。汤恩伯发现张灵甫孤军突进后，驱车赶上了74师的后卫部队，命令他们原地驻防，结果直接被人给顶了回来：“什么狗屁司令？没有我们师长的命令，谁说话也不好使！”汤恩伯碰了一个硬钉子又不便发作，气哼哼地返回了自己的司令部，张灵甫就这样一头扎进了华野的包围圈。
老蒋认为整编74覆灭的第二个原因是国军没有“戮力同心”。听到张灵甫被包围后，老蒋先是担心但很快又兴奋起来，他认为这是一个和我军决战的绝好机会，因为当时国军在兵力上占据绝对优势。此时张灵甫也表示愿意以自己和整编74师为“诱饵”，来个所谓的“中心开花”。于是老蒋急调山东战场上的国军向孟良崮靠拢，妄图对我军形成反包围。不料数十万人的国军部队在华野4个纵队的阻击下竟然裹足不前，离74师最近的李天霞派了一个连冒充一个旅来糊弄张灵甫，黄百韬一开始也只派出了一个团。前来解围的国军将领都想保存自己的实力，没有一个人愿意拼命，正是这种心态最终葬送了张灵甫和整编74师。