整编74师也就是国民革命军74军，这支部队是抗战期间战斗力十分强悍的一支部队。这支部队在抗战时打满全场，立下了赫赫战功，逐渐成为国军头号主力，连日军都对这支部队十分畏惧。
抗战结束后，74军整编为74师，全师三万多人，全副美械装备。这支部队和国民党军的普通部队不太一样，这支部队的武器装备是国民党军最好的，战斗素养，战术水平明显高于国民党军其余部队。这支部队的很多官兵在抗战期间和日军作战多次，所以不论是热战还是冷兵器作战，战斗力都十分凶悍。在两次涟水战役中，华野各部队官兵就觉得这支部队比日军还能打。
1947年5月，国民党军集结45万大军对华野所在的山东根据地发动进攻，张灵甫带着整编74师冲在最前面。粟裕果断抓住战机，华野九个步兵纵队，一个特种纵队共27万大军全部出动，用时三天将其歼灭。
整编74师的全军覆没在当时的国民党军产生了很大的震动，蒋介石很不甘心，于是让王耀武重建整编74师。其实整编74师被没有全部歼灭，当时74师有三个新兵团留在了后方整训，王耀武用这三个新兵团和一个榴弹炮营组建了51旅，调山东警备警备旅改编为57旅，广东航空警备旅改编为58旅，华野释放的整编74师被俘官兵也都补充了进去。
1948年1月，整编74师重建完毕。1948年4月，刚从大别山出来的中原野战军士气低落，元气大伤，需要打一场胜仗鼓舞士气，于是他们盯上了驻守在安徽阜阳的整编74师58旅，58旅拥有9000多名官兵，虽然战斗力不如老74师，但是也不可小看，而且这支部队士气很高，知道解放军要来进攻后，还打起了报仇雪恨的旗号。
中原野战军为了打赢这场仗，动用了五个纵队，还调华野10纵前来增援。3月29日，中野一纵20旅59团率先发动进攻，歼灭58旅一个旅，但是很快遭到反击，损失惨重。20旅58团派出尖刀连执行穿插任务时，打的就剩下一个班，该团也损失过半。
在东关的战斗中，一纵第二旅和58旅守军进行了反复争夺，但是由于城墙太厚，再加上中野没有重武器，伤亡惨重却寸步难行。在双方激战的时候，58旅222团团长带着一个营攻打一纵第二旅和20旅的结合部，致使20旅因伤亡过大，退出战场。中野11纵在北关的战斗中同样不理想，58旅还进行了反攻，11纵一个主攻团被击溃。
中野和58旅打了六天，但是毫无进展，邱维达率领整编74师另外两个旅迅速进行增援，其余的国民党军部队也纷纷向阜阳靠拢。中野为了避免被包围，只能选择撤退，另寻战机。