1943年夏秋以來，全世界的反法西斯戰争形勢發生了很大的變化，日軍在太平洋戰場上節節敗退，使東南亞的海上交通線被切斷。為了聯系被切斷海上交通的南洋日軍，以保護本土和東海海上交通安全，日本在中國發動了所謂的一号作戰計劃，向湖南，廣西，河南等省份發動大規模進攻，并摧毀這裡的盟軍基地。
豫湘桂會戰發生抗戰勝利的前一年，在這場戰争中，國民黨軍再次遭受了慘烈的失敗。豫湘桂會戰的第一戰發生在河南，岡村甯次集中15萬日軍向河南發動進攻，第一戰區司令蔣鼎文，副司令湯恩伯
指揮8個集團軍1個兵團共17個軍約40萬人，在156架飛機的支援下，阻擋日軍的進攻。
由于國民黨軍派系林立，再加上指揮失誤，各部一觸即潰，
鄭州、
新鄭
、
尉氏
、汜水、密縣等地區先後淪陷，國民黨軍勢力被趕出了河南，整個河南淪入日寇之手。
豫中會戰結束後，日軍
第11集團軍司令官橫山勇指揮8個師、1個飛行團和海軍一部，共20餘萬人，向長沙，衡陽發動進攻。第九戰區司令薛嶽指揮17個軍共40萬人，在181架飛機的支援下迎戰。雖然各部進行了頑強抵抗，但是在1944年6月18日，湖南省會長沙還是淪陷了。
日軍攻下長沙後，下一個目的就是衡陽，當時，
衡陽是與
重慶
昆明
并列的戰時中國三大中心城市，稅收居全國第二，而且衡陽地處粵漢鐵路和湘桂黔鐵路的交會點，是中國西南的門戶和軍事咽喉，戰略地位十分重要。在湘江東岸，還有美軍在粵漢鐵路上的最大機場—衡陽機場，這裡還是廣西，貴州，四川，雲南四川的門戶，是中國軍隊戰略防守的要塞。
衡陽的地形很好，易守難攻，衡陽西面，南面都有丘陵圍繞，西面，東面，北面環水，而且水流很急，水面比較寬闊，雖然在西面，南面有路可以入城，但是南面的丘陵會給攻城部隊帶來滅頂之災，城西還有水網密布的沼澤地，日軍的機械化部隊在這裡發揮不了太大的作用。
1944年5月29日，第九戰區司令薛嶽指令第十軍開往衡陽駐防，30日，蔣介石親自打電話給第十軍軍長方先覺，要求他堅守衡陽10天到14天的時間，以消耗日軍的兵力，最後配合增援部隊裡應外合消滅日軍。
第十軍下轄第三師，第190師，預備第10師三個師，還有一個野炮營，一個反坦克炮營，以及一個山炮連，是國軍精銳部隊。另外，在衡陽的新編第19師，以及暫編54師也歸方先覺指揮，第十軍看起來編制很龐大，但是經過連續作戰，得不到休整，五個師的兵力加起來才1.7萬人，第190師實際上隻有一個團的兵力，暫編第54師也不到兩個團。
戰前，衡陽地區的老百姓都被動員起來，
破壞道路，毀掉橋梁，切斷日軍進攻路線。第十軍征用了市區120家木材廠商的木料120餘萬根，
利用衡陽周圍河川、丘陵、城牆和房屋，構築了堅固的防禦工事，城内各街道挖掘了戰壕、散兵坑，修築了暗堡、機槍掩體。鐵絲網等，構成堅固的防衛體系。
第十軍軍長方先覺畢業于黃埔三期，陸軍大學第四期，曾參加過北伐，中原大戰。抗戰以來，曾參加過台兒莊戰役，長沙會戰等戰役，多次率部給日軍重創。第十軍和74軍是當時第九戰區的兩支王牌部隊，74軍被譽為虎贲軍，第十軍被譽為泰山軍，都是軍委會直屬的精銳部隊。
6月23日夜，第十軍炸毀了湘江鐵橋，第二天天還沒有亮，日軍68師團太田貞昌旅團主力三個大隊，配屬獨立山炮兵第5聯隊的兩個大隊，共5000多人，對衡陽前沿守備陣地發動進攻。日軍乘坐十餘艘船隻行駛到河的中間，遭到守軍炮火和機槍的掃射，全部被擊沉。
24日，日軍又冒着美軍軍機的轟炸，從衡陽西南面發動進攻。26日，1000多名日軍突襲衡陽機場，并占領了衡陽機場。為了防止被日軍各個擊破，6月27日，方先覺把車給的第190師，暫編54師撤回城内。
28日，日軍68師團和116師團在衡陽南部會合，完成了對衡陽的包圍圈。日軍會合之後，立刻對衡陽展開大規模的進攻，在衡陽南側高地的日軍第68師團指揮所遭到預十師第28團迫擊炮的集中炮擊，師團長佐久間為人中将當場被炸成重傷，被擡出了戰場，同時被炸傷的還有第68師團參謀長原田貞三郎大佐，此後該師團由第116師團師團長岩永汪中将統一指揮。
中國守軍的阻擊讓日軍很惱火，引發了日軍的大規模反擊，6月30日，堅守五桂嶺的預10師28團一個連被敵人釋放的毒氣熏死，但該連擊斃的日軍，還有地雷炸死的日軍，也有數百人之多。
7月1日，日軍在炮兵的掩護向預10師30團堅守的張家山高地，日軍116師團133聯隊第一大隊全部被中國守軍打死，第1大隊隊長大須賀大尉被打死，第二大隊大隊長的腿也被中國守軍打斷。10師28團2營傷亡百分之七十，營長戰死，打到7月2日，這個高地易手20多次。
日軍由于傷亡慘重，不得不停下來休整，在經過了短暫的休整和補給後。7月11日，日軍對衡陽發動了第二次總攻擊。日軍開始把攻擊重點放在了城内偏西方向，日軍飛行第44聯隊，還有日軍第68師團，第116師團炮兵對第十軍陣地進行猛烈轟炸，在日軍的炮擊下，守衛江西會館的第28團1連官兵全部犧牲。
預備第10師是第十軍的主力，方先覺也曾當過這支部隊的師長，但面對這麼慘烈的戰鬥，這支部隊也有點吃不消，三個團損失都十分慘重，不過日軍的傷亡更大。日軍第113聯隊的大隊長戰死3人，中隊長換了三四茬，日軍已經沒有能力再繼續組織進攻了。7月20日，日軍由于傷亡太大，不得不再次停下來休整。
兩次進攻衡陽都沒有成功，衡山勇遭到了大學營的斥責，日本天皇也關注了衡陽戰事，批評了前線的日軍軍官。橫山勇不敢怠慢，調整了湖南戰場上的兵力部署，将第34師團，第27師團，第3師團也調過來，參加對衡陽的第三次進攻。
對衡陽的第三次進攻，橫山勇調集了四個半師團十餘萬人的兵力。蔣介石也催促各路部隊加緊增援，盡快和第十軍裡應外合夾擊日軍。
1944年7月30日，經過十多天的調兵遣将，橫山勇指揮十萬日軍對衡陽發動了第三次進攻。日軍集中100多門大炮對城内進行猛烈轟炸，日軍的空軍也向城内投擲燃燒彈和毒氣彈，使城内蔓延起了熊熊大火。第十軍的炮彈已經耗盡，隻能任由日軍炮彈轟炸，無法進行還擊。
在傷亡巨大的情況下，第十軍官兵依然靠着肉搏戰和日軍血拼，8月6日，日軍第68師團第57旅團旅團長志摩源吉被第十軍的狙擊手打死。此時第十軍傷亡人數高達1.5萬人，其中陣亡7600餘人，傷8000餘人，剩下的人員也因為多日水米未盡，奄奄一息。
8月7日，方先覺向蔣介石發出了最後一封電報：“敵人今晨由北門突入以後，即在城内展開巷戰，我官兵傷亡殆盡，再無兵可資堵擊，職等誓以一死為報國家！”但是在最後關頭，方先覺已經控制不住部隊了，原先蔣介石給他下令隻守10天到14天，但是方先覺足足守了47天，也沒有看到援軍的身影，第十軍幸存官兵對國民黨内部派系鬥争十分不滿，開始有人和日軍聯系，方先覺得警衛員拿走了他的配槍，防止他自殺。
為了保全城内的八千多名傷員，方先覺隻能答應投降。8月8日，方先覺在外無援兵，内無彈藥的情況下，向日軍投降，投降之前，方先覺給部下創造機會，讓他們逃離衡陽，免得受辱，自己卻留了下來。投降不久後，方先覺和第十軍主要将領被軍統特工秘密接回，蔣介石不但沒有懲罰他，還授予他青天白日勳章一枚，可惜第十軍這支泰山軍就此退出了曆史舞台。
整個衡陽保衛戰，日軍先後投入十餘萬人的兵力，傷亡近五萬人，其中被打死的有近兩萬人，超過了第十軍的總兵力。在戰鬥最激烈的時候，日軍戰死太多，來不及帶走屍體，隻能把左手砍下，但是後來發現砍左手也帶不走，隻能砍手指帶走。