孟良崮战役中，号称是国军头号主力的国民革命军整编74师被华东野战军全面歼灭，这在当时的国民党军引起了很大的震动。虽然当时国民党内部很多将领都不服张灵甫，但是对这支部队却不敢小觑，这支部队在抗战时期连日军都十分畏惧，抗战胜利后为了震慑日军，蒋介石用美军的飞机把74军运到了南京，所以这支部队还被称之为是蒋介石的御林军。
整编74师的覆灭和张灵甫的阵亡对蒋介石来说是一个很大的打击，蒋介石最初以为几个月就能消灭解放军，但是不但没有消灭，而把自己的头号战将和最精锐的部队都给葬送了，这令他十分不甘心。于是在整编74师覆灭之后，蒋介石立刻命令74军的第二任军长，也是真正把74军带成国军第一主力的王耀武重新组建整编74师，务必让这支部队重新成为国军主力，以振奋当时国民党军日渐低迷的军心。
其实在孟良崮战役中，当时整编74师还有三个新兵团在后方接受训练，并没有参加战斗，王耀武在这三个新兵教导团和一个榴弹炮营的基础上建立了51旅，山东警备二旅改编为57旅，广东航空警备旅改编为58旅。为了提升这支部队的士气，把孟良崮战役时逃回去的国民党军伤兵也都编入了进去。
新成立的整编74师师长是邱维达中将，邱维达和张灵甫都是王耀武的老部下，淞沪会战时他们俩都是王耀武手下的团长。张灵甫和邱维达都得黄埔四期，二人对彼此都很熟悉，所以任命邱维达为重建后的整编74师师长很合适。1948年1月，重建后的整编74师正式编入国防部作战序列，形成了战斗力。58旅驻守安徽阜阳，其余部队驻守安徽蒙城。
1948年3月，当时中原野战军刚从大别山出来，重武器全部丢失，各纵队兵员短缺，士气十分低落。为了鼓舞士气，决定打一场大胜仗，于是他们将目标盯上了驻守在安徽阜阳的整编74师58旅。58旅有9000多人，全副美械装备，旅长是黄埔六期毕业的王梦庚少将。58旅得知中野要来围攻的时候还很振奋，还打出了一雪前耻的口号。
中野为了打赢这场仗，一纵，二纵，三纵，六纵，十一纵全部出动，还调来宋时轮的华野十纵前来增援。此战以杨勇一纵、王秉璋十一纵，并自张国华旅抽调战斗力较强的3个团，由金绍山指挥；以上三部共五万多名官兵担负阜阳主攻，由杨勇任攻城总指挥。
杨勇对阜阳的进攻，一开始就不是很顺利，一纵攻城遇到的最大难题，是城关两处制高点文峰塔、奎星楼的争夺。一纵戴润生第2旅经过30日、31日两天两夜血战后，终于在4月1日清晨占领文峰塔；而对奎星楼的攻击，直到最后战败撤退亦未能得手。74师58旅虽然刚组建，但颇有老74师的战斗力，各团团长甚至还组建敢死队和中野各部队对攻，凭借地形优势和火器优势给中野造成了很大的伤亡。
由于没有重武器的支援，中野各部伤亡很大，58旅222团蔡锷亚甚至率领一个营攻打中野一纵2旅和20旅的结合部，导致这两个旅损失惨重，杨勇不得不第一旅调上来继续进攻，但是依然没有任何实质性的进展。11纵的进攻也很艰难，一个主攻团全部打光都没有打上去。
双方激战六天后，邱维达率领整编74师主力前来增援，其余的国民党军部队也纷纷赶来，对中野形成了合围。无奈之下，中野只能分兵突围，张国华、金绍山继续在淮西打游击；王秉璋十一纵则返回鲁西南，中野剩下的四个纵队八万多人和豫西的陈赓所部会合。两军会合的时候，当时中野四个纵队只剩七万人，陈赓所部也是七万人。