孟良崮戰役中，号稱是國軍頭号主力的國民革命軍整編74師被華東野戰軍全面殲滅，這在當時的國民黨軍引起了很大的震動。雖然當時國民黨内部很多将領都不服張靈甫，但是對這支部隊卻不敢小觑，這支部隊在抗戰時期連日軍都十分畏懼，抗戰勝利後為了震懾日軍，蔣介石用美軍的飛機把74軍運到了南京，是以這支部隊還被稱之為是蔣介石的禦林軍。
整編74師的覆滅和張靈甫的陣亡對蔣介石來說是一個很大的打擊，蔣介石最初以為幾個月就能消滅解放軍，但是不但沒有消滅，而把自己的頭号戰将和最精銳的部隊都給葬送了，這令他十分不甘心。于是在整編74師覆滅之後，蔣介石立刻指令74軍的第二任軍長，也是真正把74軍帶成國軍第一主力的王耀武重新組建整編74師，務必讓這支部隊重新成為國軍主力，以振奮當時國民黨軍日漸低迷的軍心。
其實在孟良崮戰役中，當時整編74師還有三個新兵團在後方接受訓練，并沒有參加戰鬥，王耀武在這三個新兵教導團和一個榴彈炮營的基礎上建立了51旅，山東警備二旅改編為57旅，廣東航空警備旅改編為58旅。為了提升這支部隊的士氣，把孟良崮戰役時逃回去的國民黨軍傷兵也都編入了進去。
新成立的整編74師師長是邱維達中将，邱維達和張靈甫都是王耀武的老部下，淞滬會戰時他們倆都是王耀武手下的團長。張靈甫和邱維達都得黃埔四期，二人對彼此都很熟悉，是以任命邱維達為重建後的整編74師師長很合适。1948年1月，重建後的整編74師正式編入國防部作戰序列，形成了戰鬥力。58旅駐守安徽阜陽，其餘部隊駐守安徽蒙城。
1948年3月，當時中原野戰軍剛從大别山出來，重武器全部丢失，各縱隊兵員短缺，士氣十分低落。為了鼓舞士氣，決定打一場大勝仗，于是他們将目标盯上了駐守在安徽阜陽的整編74師58旅。58旅有9000多人，全副美械裝備，旅長是黃埔六期畢業的王夢庚少将。58旅得知中野要來圍攻的時候還很振奮，還打出了一雪前恥的口号。
中野為了打赢這場仗，一縱，二縱，三縱，六縱，十一縱全部出動，還調來宋時輪的華野十縱前來增援。此戰以楊勇一縱、王秉璋十一縱，并自張國華旅抽調戰鬥力較強的3個團，由金紹山指揮；以上三部共五萬多名官兵擔負阜陽主攻，由楊勇任攻城總指揮。
楊勇對阜陽的進攻，一開始就不是很順利，一縱攻城遇到的最大難題，是城關兩處制高點文峰塔、奎星樓的争奪。一縱戴潤生第2旅經過30日、31日兩天兩夜血戰後，終于在4月1日清晨占領文峰塔；而對奎星樓的攻擊，直到最後戰敗撤退亦未能得手。74師58旅雖然剛組建，但頗有老74師的戰鬥力，各團團長甚至還組建敢死隊和中野各部隊對攻，憑借地形優勢和火器優勢給中野造成了很大的傷亡。
由于沒有重武器的支援，中野各部傷亡很大，58旅222團蔡锷亞甚至率領一個營攻打中野一縱2旅和20旅的結合部，導緻這兩個旅損失慘重，楊勇不得不第一旅調上來繼續進攻，但是依然沒有任何實質性的進展。11縱的進攻也很艱難，一個主攻團全部打光都沒有打上去。
雙方激戰六天後，邱維達率領整編74師主力前來增援，其餘的國民黨軍部隊也紛紛趕來，對中野形成了合圍。無奈之下，中野隻能分兵突圍，張國華、金紹山繼續在淮西打遊擊；王秉璋十一縱則傳回魯西南，中野剩下的四個縱隊八萬多人和豫西的陳赓所部會合。兩軍會合的時候，當時中野四個縱隊隻剩七萬人，陳赓所部也是七萬人。