國民革命軍74軍組建于1937年淞滬會戰時期，由第51師、第57師和58師組成。這支部隊雖然成立的時間比較晚，但是卻憑借一場場硬仗打出了自己的威名，尤其是第二任軍長王耀武在任時期，徹底把這支部隊推上了國軍頭号主力的寶座。
74軍是國民黨軍中少數的幾支幾乎參加過抗戰期間所有大型會戰的部隊，尤其是在1941年的上高會戰中，日軍曾集中萬餘兵力在數十架飛機掩護下猛攻74軍雲頭山、白茅山陣地，74軍與日軍反複争奪，先後7次與日軍展開白刃肉搏，擊斃日軍第34師團長岩永少将，使日軍第33師團遭到重創，第34師團及獨立第20混成旅團傷亡更是高達70%以上，此戰共斃傷日軍1.5萬，
被何應欽譽為 “開戰以來最精彩之作戰”。
上高會戰後，74軍憑借出色的戰績，成為首批五個軍之一換裝蘇式裝備。常德會戰中，74軍57師8000餘名官兵在師長餘程萬的率領下，死守常德16天，幾乎全軍覆沒，日軍也傷亡上萬人。1945年5月，在湘西雪峰山戰役中，74軍再次顯示出抗日鐵軍的雄風，給予日軍以重創，獲得兩面“飛虎旗”。
抗戰結束後，74軍被整編為74師，黃埔四期畢業的張靈甫擔任整編74師中将師長。軍政部當地根據各部隊在抗戰時的表現，評出了五支戰鬥力最強的部隊，
分别是整編74師（原74軍），整編11師（原18軍），整編第五師（原第五軍），新一軍，新六軍，其中整編74師因為戰績卓越位列全軍首位。
整編74師的戰鬥力絕對不是吹出來的，這支部隊雖然被整編為師，但還有三萬多人，全副美械裝備，戰鬥力十分彪悍。尤其是很多官兵經過抗戰的洗禮，以及美國軍事顧問的訓練，單兵作戰能力極強。
解放戰争初期，這支部隊給解放軍造成了很大的麻煩。在整編74師的進攻下，淮陰，漣水等重鎮相繼被攻克。1947年5月，國民黨軍集中45萬大軍對華野所在的山東根據地發動進攻，整編74師又是沖在最前面，華野節節後退。
陳毅，粟裕忍無可忍，最後粟裕決定集中重兵殲滅整編74師。但是整編74師并不是那麼好打的，此戰，粟裕調到了華野五個縱隊和特種兵縱隊的重炮來攻打整編74師，其中華野攻堅能力最強的四個縱隊，
葉飛一縱，陶勇四縱，王必成六縱，許世友九縱全部擔任主攻
，後來的淮海戰役，華野也沒有出動這麼強大的陣容。最後經過三天血戰，整編74師被全殲。
孟良崮戰役的勝利在當時引起了很大的震動，解放軍各大野戰軍的士氣空前高漲，國民黨軍也再也不敢孤軍深入解放軍根據地腹地。解放軍有一個傳統，那就是在戰後，會根據俘虜的意願，讓他們自由選擇去向。
但是孟良崮戰役後，
華野政治部下達了一項指令：抓獲的整編74師俘虜一個人不能放。
因為在這場戰役中，華野各部隊都看出了74師強悍的戰鬥力，單兵素質太強了，是以戰後，華野把整編74師的俘虜安排到了各個軍，讓這些74師的俘虜把一些技戰術傳播到各個軍，提高華野各部隊的戰鬥力。
整編74師的覆滅對蔣介石的打擊很大，蔣介石曾說過一句話：“有十個整編74師就能統一全國。”
蔣介石不甘心整編74師就這樣全軍覆沒，整編74師的首任軍長俞濟時（蔣介石的外甥）、第二任軍長王耀武也呼籲重建整編74師。最後由這支部隊的第二任軍長，王耀武負責重新組建整編74師。
孟良崮戰役的時候，整編74師有三個新兵團沒有參戰，在後方接受訓練，王耀武在這三個團和一個榴彈炮營的基礎上組建了51旅，在山東警備二旅的基礎上建立了57旅，在廣東航空警備旅的基礎上組建裡58旅，整編74師留在後方的一些傷亡也補充了進去。新上任的整編74師師長邱維達也是黃埔四期，是王耀武的部下，張靈甫的老戰友。
1947年12月，劉鄧大軍已經離開大别山，到達了淮西地區。此時顧祝同手裡無兵可調，于是問整編74師師長邱維達是否可以參戰，得到了肯定的回複。
當時淮西最重要的兩個據點是阜陽和蒙城，于是整編74師58旅進駐阜陽，邱維達帶着整編74師師部和剩下的兩個旅駐紮在安徽蒙城。剛出大别山出來的中原野戰軍重武器全部丢失，各縱隊減員嚴重，士氣十分低落，急需打一場勝仗鼓舞士氣，于是劉伯承盯上了駐守在安徽阜陽的整編74師58旅。
當時國民黨軍第十四綏靖區的司令部也在阜陽，第十四綏靖區司令是李覺中将。駐紮在阜陽的58旅擁有9000多人，其中作戰人員占到三分之二，有6000多人，58旅旅長是畢業于南京中央軍校和陸軍大學的羅幸理。
該旅雖然是新組建的部隊，但也是全美械裝備，而且當時這支部隊打出的是為張靈甫報仇，為整編74師雪恥的口号，是以這支部隊的士氣很旺盛。
1948年3月下旬，中野二縱、三縱、六縱全部到達淮西，南渡黃河之後即調撥粟裕指揮的王秉璋十一縱也歸建。毛主席又訓示聶榮臻從華北軍區調三萬官兵南下，補充到了中原野戰軍中，幫中野恢複了一些元氣，使中野恢複到13萬人的規模，和挺進大别山之前的人數差不多。
劉伯承當時想拔掉阜陽，蒙城這兩個據點，控制整個淮西地區，戰鬥順序是先打阜陽，再打蒙城。此時由于中野缺乏重武器，又把華野十縱調來助戰。
攻城總指揮由中野一縱司令員楊勇擔任，主攻部隊為楊勇一縱、王秉璋十一縱，中野司令員劉伯承又從張國華部抽出來戰鬥力比較強的三個團，組建為獨立旅，旅長為金紹山，這支部隊也參加了戰鬥。
3月29日晚，阜陽戰役正式打響。1縱20旅59團在阜陽外圍東三裡灣殲滅守軍1個連，之後全團在東三裡灣休息備戰。但是國軍派一個營突襲一縱59團，59團在國軍猛烈沖擊下退出東三裡灣，59團民運股長吳明也在戰鬥中被俘，之前戰鬥中的國軍俘虜也被盡數搶回。後來11縱的官兵前來助戰，才把59團民運股長吳明又給奪了回來。
此戰其實一直打得都不是很順利，每攻下一處要隘都損失慘重，尤其是攻打城關兩處制高點文峰塔、奎星樓的戰鬥，傷亡異常慘重。一縱戴潤生第2旅經過30日、31日兩天兩夜血戰後，終于在4月1日清晨占領文峰塔；而對奎星樓的攻擊，直到最後戰敗撤退也沒有能拿下。
3月31日晚，一縱20旅突破東關，率部打入了城區，但是第58旅旅長羅幸理立刻指揮部隊展開反沖鋒，給還在巷戰中使用噴火器對攻入城的中野官兵造成了很大傷亡。敵58旅172團的一個營還插入一縱20旅的後方，20旅旅長吳忠為了防止全軍覆沒，沒辦法又率領部隊退了出來。
吳忠的20旅由于損失太大，不得不撤出戰場，由中野一旅接近進攻。駐守北關、西關的蔣立先58旅174團突然組織了敢死隊對王秉璋十一縱展開逆襲，王秉璋猝不及防，許多人在護城河裡被淹死、踐踏而死。
4月1日，邱維達率領整編74師主力趕來增援，4月3日，周圍20個旅的國民黨軍紛紛趕來，對中野形成了包圍。為防止全軍覆沒，劉伯承立刻下令各部隊突圍。
撤退的過程中，劉伯承又從張國華那裡補充了一萬名新兵，令張國華、金紹山繼續在淮西打遊擊，王秉璋十一縱則傳回魯西南。劉伯承率領剩下的四個縱隊八萬多人向豫西突圍，但是沿途遭到國民黨軍的伏擊，有一定的損失。到達豫西根據地的時候，中野就剩下的了七萬多人，而歡迎中野主力前來的陳赓所部也是七萬多人，重武器比其他四個縱隊加起來都多。