整編74師也就是國民革命軍軍74軍，這支部隊是解放戰争期間國軍頭号主力部隊，1947年被華野大軍全殲之後，在當時的國民黨軍内部産生了極大的震動。但是蔣介石不甘心失敗，又指令王耀武重新組建了整編74師。
整編74師其實并沒有全殲，這支部隊當時還有三個新兵教導團留在後方休整，王耀武用這三個新兵教導團和一個榴彈炮營組建了51旅，用山東警備二旅改編為57旅，廣東航空警備旅改編為58旅。1948年1月，重新組建的整編74師重建完畢，列入國防部序列。新組建的整編74師師長邱維達也是黃埔四期，張靈甫的老同學，王耀武的老部下。
1948年3月，當時剛從大别山出來的中原野戰軍重武器嚴重缺少，裝備供給嚴重不足，士氣非常低迷。在這種情況下，中原野戰軍繼續打一場勝仗來鼓舞士氣，他們先看上了國民黨軍陳珍兵團，但被其溜走，在這種情況下，中野又看上了駐守在安徽阜陽的整編74師58旅。整編74師58旅有9000多人，全副美械裝備，在得知中野要來打的時候，打出了一雪前恥的口号。
為了消滅這支部隊，中原野戰軍一縱，二縱，三縱，六縱，11縱全部出動，華東野戰軍還派十縱前來增援。解放軍主攻部隊主要由一縱和11縱，還有豫皖蘇軍區獨立旅組成，一縱攻打東關，南關，11縱攻打北關，獨立旅攻打西關。阜陽城牆高大，并不好打，而且中野缺乏攻堅所需要的重武器，是以此戰一開始就打的很被動。
3月29日，一縱20旅59團率先發動進攻，殲滅了58旅外圍陣地的一個連，但是立刻遭到了58旅的反攻，損失很大。30日，58團派出尖刀連執行穿插任務，準備切斷阜陽城東門和東關的吊橋，但是後來尖刀連打的就剩下一個班，59團派出一個營前去支援58團，也損失過半。國軍還在阜陽當時最高的建築，文峰塔上設定了炮兵觀察所，居高臨下的對解放軍進行打擊，一縱二旅在攻打這座塔的時候，雖然付出了很大的傷亡，但是該塔隻被炸藥包炸掉一層皮，沒被炸倒。
東關激戰的時候，被分割在阜陽城外的敵人一個營在222團團長蔡锷亞的率領下殺進城内，還切斷了一縱二旅和20旅的結合部，打了一縱一個措手不及。國民黨軍的增援部隊此時也沒有閑着，邱維達帶着整編74師其餘部隊紛紛趕來，國民黨軍的飛機也不斷的對中野攻堅部隊進行轟炸，造成了不小的傷亡。
激戰六天後，蔣介石指令附近的20多個旅前來增援，企圖在阜陽城下形成合圍，殲滅解放軍主力。為了避免形勢惡化，中野果斷撤出戰鬥，攻打阜陽的戰鬥以失敗告終。