北伐戰争能成功主要歸功于四股軍事力量：蔣介石的第一集團軍，馮玉祥的第二集團軍，閻錫山的第三集團軍，李宗仁白崇禧的第四集團軍。四大集團軍聯合向北京、天津進發，終于将奉系張作霖趕到關外。
至此，長城以南的廣闊地區基本上實作了統一。但這種統一隻是表面上的，實際上四大力量都劃分了自己的地盤。蔣系主要控制東南各省；馮玉祥控制陝甘、河南、山東等地；閻錫山控制北方察哈爾、河北、山西等省；李宗仁白崇禧桂系則控制廣西和湖南湖北。
不管怎麼說，也算是統一了，那麼首都該定在哪裡呢？
1925年的時候國民黨在廣州建立了國民政府，1926年又遷都到武漢，1927年發生甯漢分裂，老蔣在南京另立政府。是以在北伐成功之時，首都到底是哪裡其實還沒有正式确定。當時主要是兩個選擇，要麼是北京，要麼是南京。
馮、閻二人基本上認為應該定都北京，這裡是明清兩代都城，裝置齊全，有王者氣質。這當然是對外的說法。其實質是因為北京對馮、閻二人而言是可控勢力範圍之内。如果定都南京，那麼他們就遠離權力中心，被邊緣化了。
蔣系當然強烈要求定都南京，蔣的核心勢力在江浙，他所依賴的英美在華勢力主要集中在長江流域。上海是西方人的大學營，離南京很近，蔣系認為定都南京是最合适、最安全的。他們對外肯定是不能這樣說的，他們主要的說法是應該堅持“總理遺囑”定都南京。
到底是定都北京還是南京，不僅是政治勢力暗暗較勁，社會上的争論也很熱烈。
吳稚晖就支援定都南京，他說了四點，似乎比較能夠代表南方人的看法。第一當然還是說要堅持“總理遺囑”。第二點說，從陸上來看南京偏東，但若加上海域來看，南京就比較适中了。他應該是想強調，作為一個現代國家必須要有海洋意識，近現代崛起的大國都是海洋大國。第三點說南京靠近上海，有巨大的投資來源，很容易就建設起來了。而北京是古城，不适合成為新時代的首都。第四點還是跟上海有關，上海是國際大都市，貿易大都市，又是中國的輿論中心，是以首都設在靠近上海的南京最為合适。
1929年正在修建中的南京中山路
北方人不以為然，他們說南京地勢低窪，夏天濕熱，民風文弱，在曆史上是六朝金粉之地，萎靡之氣太重。這種說法固然玄學成分太強，但在當時确實有一定說服力，我們中國人比較迷信那些玄學。曆史上，在南京建都的政權遠不止六朝，然而平均算下來每個朝代存活時間都不長，似乎這裡不具備穩固久遠之氣。三國的東吳，南北朝的宋、齊、梁、陳，南唐、太平天國都曾定都南京，卻均未活過百年。明朝比較特殊，朱元璋定都南京，後來朱棣又遷都北京了。
20年代南京
關于“總理遺囑”定都南京這件事，北方人并不直接反對，但有另一番解讀。孫中山立遺囑時北京還在軍閥手裡，是以才主張定都南京，這隻是一個權宜之計。至于是不是權宜之計，現在是人故無對證，大家都可以各自解讀。還說真正的遵循“總理遺囑”是應該繼承中山先生遺志，建設好國家，而不是墨守成規。
修建完成後的南京中山陵
這場定都問題的南北大論戰持續了很久，最終在輿論上南方占據了上風。南方主要抓住了一個重要的“辯論大法”——扣帽子大法。
南方輿論說北京有東交民巷，那可是外國列強侵華特權的産物和中國恥辱的象征，你們還堅持定都北京是何居心？難道當洋人奴隸當上瘾了？
第二個是說，日本人勢力在關外，與北京近在咫尺，日本人就很希望我們定都北京，便于他們掌控。你們所希望的和日本人如出一轍，這分明是“為外人作說客，為帝國主義作走狗”。
南方輿論甩出這兩點後，北方輿論漸漸沒了聲勢，這些帽子沒人戴的起，隻能躲着。據說連馮玉祥聽到這種論調後都無話可說，不敢說什麼了。
那麼說，北方輿論為什麼不能祭出扣帽子大法呢？北京在這方面有天然劣勢，甩不出帽子。晚清以來，東交民巷确實一個刺眼的存在，就拿1900年來說東交民巷就是賣不過的坎。而巴黎和會後，中國民間普遍對日本比較排斥，超過了任何其他西方列強。日本還占着咱不少地方，其他列強在華一般是租界，跟日本情況有所不同。事實上那時候我們需要英美等列強的支援來扼制日本，是以定都南京，靠近英美勢力似乎更合适。定都北京總不免讓人覺得有羊入虎口的意思。
輿論上南方占了上風，政治上蔣系也占了上風，加上桂系李宗仁白崇禧也支援定都南京，後來馮玉祥、閻錫山也就不堅持了。