長衡會戰爆發後，薛嶽的天爐戰法被橫山勇破解，42軍近3萬人在長沙僅僅守了4天就棄城而逃，日軍乘勝追擊，将衡陽團團包圍，衡陽保衛戰由此爆發。戰役初期，橫山勇以68和116兩個師團圍攻衡陽，以第13、第40和第58師團阻擊救援衡陽的國軍。是以這一時期國軍打不進來還是情有可原的。但日軍對衡陽的兩次總攻接連失敗後，橫山勇不得不将第40和第58師團回調，參加對衡陽的攻擊。
此時，第10軍已經在衡陽堅守了一個月，兵力損失極大，彈藥也所剩無幾。方先覺不斷向重慶軍委會求援，稱“衡陽危在旦夕，個人事小，國家事大，請無論如何派一團兵力進城，我們自有辦法”。他甚至私下對幕僚稱，不管是哪個部隊，隻要能派一隊人馬沖進衡陽解圍，“我一定給他磕頭，請求蔣委員長給他頒青天白日勳章”。
收到方先覺的救援電後，蔣介石嚴令各部“奮進解圍”。但各解圍部隊為了儲存實力，誰也不願意和日軍硬拼，少一接觸便以“激戰一番，日軍兵力強大”為由撤走。原第9戰區派往第10軍的督戰官兼炮兵指揮官蔡汝霖曾在回憶中稱： “最後兩旬，我們每夜均在中央銀行防空洞上面聽援軍的槍聲。聽得近了，大家都興奮欲狂，槍聲遠了，便怅然若失，内心裡也不知是怨是恨，乃是一種說不出的酸楚滋味。”
6月23日，對援軍望眼欲穿的方先覺終于接到了重慶軍委會的來電，稱62軍一部已“到西南郊五裡亭”。方先覺大喜過望，為了接應援軍進城，他把最後的機動兵力軍部特務營拿了出來，精選了150名官兵，組成5個突擊排，由營長曹華亭帶領出城接應。當這批勇士冒死來到約定地點後，卻連援軍的影子都沒有看到。曹華亭含淚對部下說：雖然援軍沒有接到，但大家已成功突圍，有願意離開戰場的可以離開，我決心打回衡陽城，與第10軍共存亡。結果沒有一個人離開，他們重新殺了回來，進城時僅餘30餘人。
那麼62軍為何就是不進城呢？據《衡陽文史》抗戰專輯記載當時外圍作戰的62軍軍長聲稱自己“是來流血流汗，出命出力，為第10軍奪功”的；另有一軍長竟稱“衡陽解了圍，方先覺豈不成了抗日英雄！”典型的見不得别人好的心态，尤其是對方的這種好還要建立在自己損失的基礎上。這也是國軍解圍鮮能成功的原因，常德保衛戰如此，衡陽保衛戰如此，就連後來的孟良崮戰役和雙堆集戰役莫不如此。以此心态來解圍，能成功才是怪事！