1943年夏秋以来，全世界的反法西斯战争形势发生了很大的变化，日军在太平洋战场上节节败退，使东南亚的海上交通线被切断。为了联系被切断海上交通的南洋日军，以保护本土和东海海上交通安全，日本在中国发动了所谓的一号作战计划，向湖南，广西，河南等省份发动大规模进攻，并摧毁这里的盟军基地。
豫湘桂会战发生抗战胜利的前一年，在这场战争中，国民党军再次遭受了惨烈的失败。豫湘桂会战的第一战发生在河南，冈村宁次集中15万日军向河南发动进攻，第一战区司令蒋鼎文，副司令汤恩伯
指挥8个集团军1个兵团共17个军约40万人，在156架飞机的支援下，阻挡日军的进攻。
由于国民党军派系林立，再加上指挥失误，各部一触即溃，
郑州、
新郑
、
尉氏
、汜水、密县等地区先后沦陷，国民党军势力被赶出了河南，整个河南沦入日寇之手。
豫中会战结束后，日军
第11集团军司令官横山勇指挥8个师、1个飞行团和海军一部，共20余万人，向长沙，衡阳发动进攻。第九战区司令薛岳指挥17个军共40万人，在181架飞机的支援下迎战。虽然各部进行了顽强抵抗，但是在1944年6月18日，湖南省会长沙还是沦陷了。
日军攻下长沙后，下一个目的就是衡阳，当时，
衡阳是与
重庆
昆明
并列的战时中国三大中心城市，税收居全国第二，而且衡阳地处粤汉铁路和湘桂黔铁路的交会点，是中国西南的门户和军事咽喉，战略地位十分重要。在湘江东岸，还有美军在粤汉铁路上的最大机场—衡阳机场，这里还是广西，贵州，四川，云南四川的门户，是中国军队战略防守的要塞。
衡阳的地形很好，易守难攻，衡阳西面，南面都有丘陵围绕，西面，东面，北面环水，而且水流很急，水面比较宽阔，虽然在西面，南面有路可以入城，但是南面的丘陵会给攻城部队带来灭顶之灾，城西还有水网密布的沼泽地，日军的机械化部队在这里发挥不了太大的作用。
1944年5月29日，第九战区司令薛岳命令第十军开往衡阳驻防，30日，蒋介石亲自打电话给第十军军长方先觉，要求他坚守衡阳10天到14天的时间，以消耗日军的兵力，最后配合增援部队里应外合消灭日军。
第十军下辖第三师，第190师，预备第10师三个师，还有一个野炮营，一个反坦克炮营，以及一个山炮连，是国军精锐部队。另外，在衡阳的新编第19师，以及暂编54师也归方先觉指挥，第十军看起来编制很庞大，但是经过连续作战，得不到休整，五个师的兵力加起来才1.7万人，第190师实际上只有一个团的兵力，暂编第54师也不到两个团。
战前，衡阳地区的老百姓都被动员起来，
破坏道路，毁掉桥梁，切断日军进攻路线。第十军征用了市区120家木材厂商的木料120余万根，
利用衡阳周围河川、丘陵、城墙和房屋，构筑了坚固的防御工事，城内各街道挖掘了战壕、散兵坑，修筑了暗堡、机枪掩体。铁丝网等，构成坚固的防卫体系。
第十军军长方先觉毕业于黄埔三期，陆军大学第四期，曾参加过北伐，中原大战。抗战以来，曾参加过台儿庄战役，长沙会战等战役，多次率部给日军重创。第十军和74军是当时第九战区的两支王牌部队，74军被誉为虎贲军，第十军被誉为泰山军，都是军委会直属的精锐部队。
6月23日夜，第十军炸毁了湘江铁桥，第二天天还没有亮，日军68师团太田贞昌旅团主力三个大队，配属独立山炮兵第5联队的两个大队，共5000多人，对衡阳前沿守备阵地发动进攻。日军乘坐十余艘船只行驶到河的中间，遭到守军炮火和机枪的扫射，全部被击沉。
24日，日军又冒着美军军机的轰炸，从衡阳西南面发动进攻。26日，1000多名日军突袭衡阳机场，并占领了衡阳机场。为了防止被日军各个击破，6月27日，方先觉把车给的第190师，暂编54师撤回城内。
28日，日军68师团和116师团在衡阳南部会合，完成了对衡阳的包围圈。日军会合之后，立刻对衡阳展开大规模的进攻，在衡阳南侧高地的日军第68师团指挥所遭到预十师第28团迫击炮的集中炮击，师团长佐久间为人中将当场被炸成重伤，被抬出了战场，同时被炸伤的还有第68师团参谋长原田贞三郎大佐，此后该师团由第116师团师团长岩永汪中将统一指挥。
中国守军的阻击让日军很恼火，引发了日军的大规模反击，6月30日，坚守五桂岭的预10师28团一个连被敌人释放的毒气熏死，但该连击毙的日军，还有地雷炸死的日军，也有数百人之多。
7月1日，日军在炮兵的掩护向预10师30团坚守的张家山高地，日军116师团133联队第一大队全部被中国守军打死，第1大队队长大须贺大尉被打死，第二大队大队长的腿也被中国守军打断。10师28团2营伤亡百分之七十，营长战死，打到7月2日，这个高地易手20多次。
日军由于伤亡惨重，不得不停下来休整，在经过了短暂的休整和补给后。7月11日，日军对衡阳发动了第二次总攻击。日军开始把攻击重点放在了城内偏西方向，日军飞行第44联队，还有日军第68师团，第116师团炮兵对第十军阵地进行猛烈轰炸，在日军的炮击下，守卫江西会馆的第28团1连官兵全部牺牲。
预备第10师是第十军的主力，方先觉也曾当过这支部队的师长，但面对这么惨烈的战斗，这支部队也有点吃不消，三个团损失都十分惨重，不过日军的伤亡更大。日军第113联队的大队长战死3人，中队长换了三四茬，日军已经没有能力再继续组织进攻了。7月20日，日军由于伤亡太大，不得不再次停下来休整。
两次进攻衡阳都没有成功，衡山勇遭到了大本营的斥责，日本天皇也关注了衡阳战事，批评了前线的日军军官。横山勇不敢怠慢，调整了湖南战场上的兵力部署，将第34师团，第27师团，第3师团也调过来，参加对衡阳的第三次进攻。
对衡阳的第三次进攻，横山勇调集了四个半师团十余万人的兵力。蒋介石也催促各路部队加紧增援，尽快和第十军里应外合夹击日军。
1944年7月30日，经过十多天的调兵遣将，横山勇指挥十万日军对衡阳发动了第三次进攻。日军集中100多门大炮对城内进行猛烈轰炸，日军的空军也向城内投掷燃烧弹和毒气弹，使城内蔓延起了熊熊大火。第十军的炮弹已经耗尽，只能任由日军炮弹轰炸，无法进行还击。
在伤亡巨大的情况下，第十军官兵依然靠着肉搏战和日军血拼，8月6日，日军第68师团第57旅团旅团长志摩源吉被第十军的狙击手打死。此时第十军伤亡人数高达1.5万人，其中阵亡7600余人，伤8000余人，剩下的人员也因为多日水米未尽，奄奄一息。
8月7日，方先觉向蒋介石发出了最后一封电报：“敌人今晨由北门突入以后，即在城内展开巷战，我官兵伤亡殆尽，再无兵可资堵击，职等誓以一死为报国家！”但是在最后关头，方先觉已经控制不住部队了，原先蒋介石给他下令只守10天到14天，但是方先觉足足守了47天，也没有看到援军的身影，第十军幸存官兵对国民党内部派系斗争十分不满，开始有人和日军联系，方先觉得警卫员拿走了他的配枪，防止他自杀。
为了保全城内的八千多名伤员，方先觉只能答应投降。8月8日，方先觉在外无援兵，内无弹药的情况下，向日军投降，投降之前，方先觉给部下创造机会，让他们逃离衡阳，免得受辱，自己却留了下来。投降不久后，方先觉和第十军主要将领被军统特工秘密接回，蒋介石不但没有惩罚他，还授予他青天白日勋章一枚，可惜第十军这支泰山军就此退出了历史舞台。
整个衡阳保卫战，日军先后投入十余万人的兵力，伤亡近五万人，其中被打死的有近两万人，超过了第十军的总兵力。在战斗最激烈的时候，日军战死太多，来不及带走尸体，只能把左手砍下，但是后来发现砍左手也带不走，只能砍手指带走。