衡陽位于湘江西岸，處于湘桂鐵路，粵漢鐵路的交彙處，兩條鐵路穿過衡陽，一條在湘江西岸延伸到廣西，一條在湘江東岸延伸到廣東。從1939年中日戰争開始後，湖南就成為正面戰場的主戰場，曆經的長沙會戰和常德會戰，但是衡陽還未經曆戰火。
由于衡陽屬于湖南的大後方，又是交通樞紐，是以從湘北和外省向大後方逃難的群眾，以及很多軍政後勤機構，公司商會都駐留于此。太平洋戰争爆發後，衡陽機場又長期駐有中美混合空軍的轟炸機群。
可以說，抗日戰争後期，衡陽的軍事戰略價值完全超越了長沙。
衡陽會戰爆發之前，所有的群眾都認為，這個城市将幸運地躲過這場戰争，已經成為強弩之末的日軍，不可能也再沒有力量進攻長沙以南的衡陽。可是入夏之後，随着長沙迅速的陷落，日軍急速南下，一下子把抗戰爆發後，安甯了7年的衡陽，推到了大戰的前台。
6月1日方先覺的部隊住衡陽之後，他立即帶着參謀長孫鳴玉，預10師師長葛先才。第190師師長容有略，以及軍部參謀開始勘察城外的地形。
整個衡陽城，呈長方形，雖然在抗戰後期工商業繁華，但是實際上，整個城市非常的小。就城區而言，東西隻有500米寬，南北1600米長。如果從城外主陣地算起，南北長也不過2600米，東西寬也不過1500米。
從地勢方面來說：東面是湘江，北面是依草河。依草河，雖然不是很寬，但是水比較深。從草河到小西門、大西門這一帶，地勢比較平緩，有許多的池塘。大西門以南，是一群不是很高的小山丘：天馬山，虎形巢、張家山等等。
日軍從北面而來，乍看上去，其攻擊的重點畢竟在西北。
但是方先覺和先前守長沙的經驗，他判定日軍主力必定迂回到西南進行猛撲。因為西北地勢比較平緩，西南戰事連綿的丘陵，搶占西南高地後，雖然不可能說俯擊衡陽城，但是至少在态勢上更加的有利。
随後第十軍進行了一次作戰會議，對陣地進行了配置設定：葛先才鎮守西南陣地，容有略暫守西北陣地。
由于周慶祥的第3師，仍控制衡山一帶，沒有辦法接手衡陽城西南陣地。在這樣的情況下，方先覺隻能把西南面的陣地，交給已經過來的預10師
方先覺帶着精明強幹的工兵營營長陸伯臯，在反複偵察過地形後，下了一道對衡陽保衛戰來說極為關鍵的指令：
把城南和城西南的各個山丘，對外的一面，全部自半山腰起，往下削成四五米高的直上直下，不能直接攀登的人工斷崖。削到山腳之後，再繼續往地下挖，那就是後來給日軍造成大量傷害的“方先覺戰壕”。從後期的戰事來看，靠着這一斷崖加外壕的戰鬥工事，第10軍把陣地變成了一個絞肉機。
如此大的工程，得到了衡陽群眾的幫助，衡陽市長趙君邁，他曾留學美國，學的就是土木建築系，在衡陽陣地防禦上，他貢獻了自己的一份力量。在開工之後，他動員了上萬名青年壯工，協助守軍修建戰鬥工事，又組建了數千人的抗戰後援會，并提供了大量的建築材料。
衡陽士紳群眾，為了保衛自己的城市，做出了巨大的貢獻。