衡阳位于湘江西岸，处于湘桂铁路，粤汉铁路的交汇处，两条铁路穿过衡阳，一条在湘江西岸延伸到广西，一条在湘江东岸延伸到广东。从1939年中日战争开始后，湖南就成为正面战场的主战场，历经的长沙会战和常德会战，但是衡阳还未经历战火。
由于衡阳属于湖南的大后方，又是交通枢纽，所以从湘北和外省向大后方逃难的民众，以及很多军政后勤机构，公司商会都驻留于此。太平洋战争爆发后，衡阳机场又长期驻有中美混合空军的轰炸机群。
可以说，抗日战争后期，衡阳的军事战略价值完全超越了长沙。
衡阳会战爆发之前，所有的民众都认为，这个城市将幸运地躲过这场战争，已经成为强弩之末的日军，不可能也再没有力量进攻长沙以南的衡阳。可是入夏之后，随着长沙迅速的陷落，日军急速南下，一下子把抗战爆发后，安宁了7年的衡阳，推到了大战的前台。
6月1日方先觉的部队住衡阳之后，他立即带着参谋长孙鸣玉，预10师师长葛先才。第190师师长容有略，以及军部参谋开始勘察城外的地形。
整个衡阳城，呈长方形，虽然在抗战后期工商业繁华，但是实际上，整个城市非常的小。就城区而言，东西只有500米宽，南北1600米长。如果从城外主阵地算起，南北长也不过2600米，东西宽也不过1500米。
从地势方面来说：东面是湘江，北面是依草河。依草河，虽然不是很宽，但是水比较深。从草河到小西门、大西门这一带，地势比较平缓，有许多的池塘。大西门以南，是一群不是很高的小山丘：天马山，虎形巢、张家山等等。
日军从北面而来，乍看上去，其攻击的重点毕竟在西北。
但是方先觉和先前守长沙的经验，他判定日军主力必定迂回到西南进行猛扑。因为西北地势比较平缓，西南战事连绵的丘陵，抢占西南高地后，虽然不可能说俯击衡阳城，但是至少在态势上更加的有利。
随后第十军进行了一次作战会议，对阵地进行了分配：葛先才镇守西南阵地，容有略暂守西北阵地。
由于周庆祥的第3师，仍控制衡山一带，没有办法接手衡阳城西南阵地。在这样的情况下，方先觉只能把西南面的阵地，交给已经过来的预10师
方先觉带着精明强干的工兵营营长陆伯皋，在反复侦察过地形后，下了一道对衡阳保卫战来说极为关键的命令：
把城南和城西南的各个山丘，对外的一面，全部自半山腰起，往下削成四五米高的直上直下，不能直接攀登的人工断崖。削到山脚之后，再继续往地下挖，那就是后来给日军造成大量伤害的“方先觉战壕”。从后期的战事来看，靠着这一断崖加外壕的战斗工事，第10军把阵地变成了一个绞肉机。
如此大的工程，得到了衡阳民众的帮助，衡阳市长赵君迈，他曾留学美国，学的就是土木建筑系，在衡阳阵地防御上，他贡献了自己的一份力量。在开工之后，他动员了上万名青年壮工，协助守军修建战斗工事，又组建了数千人的抗战后援会，并提供了大量的建筑材料。
衡阳士绅民众，为了保卫自己的城市，做出了巨大的贡献。