长衡会战爆发后，薛岳的天炉战法被横山勇破解，42军近3万人在长沙仅仅守了4天就弃城而逃，日军乘胜追击，将衡阳团团包围，衡阳保卫战由此爆发。战役初期，横山勇以68和116两个师团围攻衡阳，以第13、第40和第58师团阻击救援衡阳的国军。所以这一时期国军打不进来还是情有可原的。但日军对衡阳的两次总攻接连失败后，横山勇不得不将第40和第58师团回调，参加对衡阳的攻击。
此时，第10军已经在衡阳坚守了一个月，兵力损失极大，弹药也所剩无几。方先觉不断向重庆军委会求援，称“衡阳危在旦夕，个人事小，国家事大，请无论如何派一团兵力进城，我们自有办法”。他甚至私下对幕僚称，不管是哪个部队，只要能派一队人马冲进衡阳解围，“我一定给他磕头，请求蒋委员长给他颁青天白日勋章”。
收到方先觉的救援电后，蒋介石严令各部“奋进解围”。但各解围部队为了保存实力，谁也不愿意和日军硬拼，少一接触便以“激战一番，日军兵力强大”为由撤走。原第9战区派往第10军的督战官兼炮兵指挥官蔡汝霖曾在回忆中称： “最后两旬，我们每夜均在中央银行防空洞上面听援军的枪声。听得近了，大家都兴奋欲狂，枪声远了，便怅然若失，内心里也不知是怨是恨，乃是一种说不出的酸楚滋味。”
6月23日，对援军望眼欲穿的方先觉终于接到了重庆军委会的来电，称62军一部已“到西南郊五里亭”。方先觉大喜过望，为了接应援军进城，他把最后的机动兵力军部特务营拿了出来，精选了150名官兵，组成5个突击排，由营长曹华亭带领出城接应。当这批勇士冒死来到约定地点后，却连援军的影子都没有看到。曹华亭含泪对部下说：虽然援军没有接到，但大家已成功突围，有愿意离开战场的可以离开，我决心打回衡阳城，与第10军共存亡。结果没有一个人离开，他们重新杀了回来，进城时仅余30余人。
那么62军为何就是不进城呢？据《衡阳文史》抗战专辑记载当时外围作战的62军军长声称自己“是来流血流汗，出命出力，为第10军夺功”的；另有一军长竟称“衡阳解了围，方先觉岂不成了抗日英雄！”典型的见不得别人好的心态，尤其是对方的这种好还要建立在自己损失的基础上。这也是国军解围鲜能成功的原因，常德保卫战如此，衡阳保卫战如此，就连后来的孟良崮战役和双堆集战役莫不如此。以此心态来解围，能成功才是怪事！