1947年5月，国民党军集中45万大军对华野所在的山东根据地发动重点进攻，粟裕最后下定决心，集中优势兵力在国军重重包围下，一举全歼号称是国民党军五大主力之首的整编74师，击毙师长张灵甫。
整编74师的前身是抗战时期的国民革命军74军，这支部队组建于淞沪会战时期，虽然组建的时间不长，但是却在抗战期间多次重创日军，立下了赫赫战功。抗战后，这支部队却充当起蒋家王朝的打手，成为了打内战的急先锋，给华野和根据地百姓造成了很大伤亡。整编74师被全歼之后，在国民党军内部引起了很大的震动。
但是蒋介石不甘心失败，他让这支部队的第二任军长王耀武，重建整编74师。当时整编74师有三个新兵团留在后方，并没有参加战斗，王耀武以这三个新兵团和一个榴弹炮营为基础组建了51旅，山东警备二旅改编为57旅，广东航空警备旅改编为58旅。新上任的整编74师师长是黄埔四期毕业的邱维达，他也是王耀武的老部下。
1948年1月，整编74师重建完毕，列入国防部作战序列。1948年春，刘邓大军在千里挺进大别山，给予国民党军重创以后，挥师出山，寻机歼敌。中野在挺进大别山的时候损失很大，人员减员过半，重武器全部丢失，所以决定攻打阜阳，恢复一下士气。
当时驻守在阜阳的是74师58旅，旅长罗幸理，74师师长邱维达率领51旅，57旅还有师部驻守在安徽蒙城，两地相距200余里。58旅此时兵员有9000多人，而且是全副的美械装备，士气也很旺，还打出了为张灵甫报仇的旗号。当时国民党第十四绥靖区的司令部也在阜阳，绥靖区是解放战争时期国民党建立的专门对付共产党和革命武装的地方性组织机构，党政军一把抓，第十四绥靖区司令官是李觉中将，管辖阜阳，临泉，太和，蒙城等八个县。
而刘伯承当时手里只有杨勇的一纵，张国华独立旅两个纵队。杨勇一纵在大别山期间损失了一万多人，现在只剩下了一万多人，弹药严重不足。而张国华虽然有九个团25000人，但成分十分复杂，大部分都是刚收编的国民党残军，土匪，汉奸，也缺乏大规模作战的经验。
为了恢复中野的元气，军委指示聂荣臻从华北军区调三万人南下，补充中野的兵员。到1948年3月，中野二纵，三纵，六纵相继赶赴淮西，南渡黄河之后即调拨粟裕指挥的王秉璋十一纵亦告归建。另外，为了打赢阜阳战役，宋时轮率领的华野十纵也被划归中野指挥，此时中野攻打阜阳的兵力达到了六个纵队15万人。
当时刘伯承的目的是全歼74师，战役顺序是先歼灭在阜阳的74师58旅，再向蒙城进发，歼灭邱维达率领的74师51旅，57旅。担任主攻任务的是中野一纵，中野十一纵，还有从张国华那里抽调的三个战斗力较强的主力团，这三个团由金绍山指挥；中野司令员杨勇担任此次攻城总指挥。
3月28日，我军开始秘密向阜阳地区集结，但是被阜阳的国民党军察觉。3月29日起，杨勇一纵3个旅负责进攻阜阳东关、南关，王秉璋十一纵3个旅并指挥金绍山独立旅负责进攻西关、北关。三路攻城部队总计5万余人。
3月29日晚，1纵20旅59团在阜阳外围东三里湾歼灭守军1个连，全团在东三里湾休息备战。但是第二天，国民党军一个营发动反击，一纵59团被迫退出了已经打下来的阵地，59团民运股股长也被俘。后来中野11纵前来助战，才把59团民运股股长也夺了回来。
敌58旅驻守在颍上的173团团长蔡锷亚竟然率领所部第一营，一路猛打猛冲，突破中野的多道阻击线，打到了城内，支援阜阳城内的国军。当时在阜阳城关有两处制高点非常重要，那就是文峰塔和奎星楼。中野一纵在经过两天的血战才占领文峰塔；而对奎星楼的攻击，直到最后战败撤退亦未能得手。
3月31日晚，吴忠率领的一纵20旅一度突破东关，突入城内，但是58旅旅长罗幸理亲率师直展开反冲锋，58旅的16支火焰喷射器发挥了奇效，突击在前的20旅58团一片片被烧死在冲锋路上，伤亡十分惨重。敌58旅172团团长刘炳均率172团一个营封锁住20旅的退路，从背后猛烈进攻，吴忠为防全军覆没，不得不率残部撤出城关。
就在吴忠突破东关的时候，王秉璋率领中野十一纵对北关，西关展开进攻，但是敌58旅174团团长蒋立先突然组织了敢死队对王秉璋十一纵展开逆袭，王秉璋猝不及防，许多人在护城河里被淹死、践踏而死。11纵不得不重新组织部队进攻，一纵司令员杨勇也不得不把已经被打残的20旅撤下来，由一纵第一旅继续上去进攻。
4月3日，邱维达率领整编74师主力前来增援，张轸兵团及胡琏18军也到达豫皖边界。中野久攻不下，在付出了上万人伤亡的惨烈代价后，不得不分路突围。张国华、金绍山继续在淮西打游击，王秉璋十一纵则返回鲁西南。当刘伯承率领中野四个纵队离开淮西，到达豫西的时候，所部只剩下了七万人，而欢迎他到豫西根据地的陈赓所部也是七万人马。