北伐战争能成功主要归功于四股军事力量：蒋介石的第一集团军，冯玉祥的第二集团军，阎锡山的第三集团军，李宗仁白崇禧的第四集团军。四大集团军联合向北京、天津进发，终于将奉系张作霖赶到关外。
至此，长城以南的广阔地区基本上实现了统一。但这种统一只是表面上的，实际上四大力量都划分了自己的地盘。蒋系主要控制东南各省；冯玉祥控制陕甘、河南、山东等地；阎锡山控制北方察哈尔、河北、山西等省；李宗仁白崇禧桂系则控制广西和湖南湖北。
不管怎么说，也算是统一了，那么首都该定在哪里呢？
1925年的时候国民党在广州建立了国民政府，1926年又迁都到武汉，1927年发生宁汉分裂，老蒋在南京另立政府。所以在北伐成功之时，首都到底是哪里其实还没有正式确定。当时主要是两个选择，要么是北京，要么是南京。
冯、阎二人基本上认为应该定都北京，这里是明清两代都城，设备齐全，有王者气质。这当然是对外的说法。其实质是因为北京对冯、阎二人而言是可控势力范围之内。如果定都南京，那么他们就远离权力中心，被边缘化了。
蒋系当然强烈要求定都南京，蒋的核心势力在江浙，他所依赖的英美在华势力主要集中在长江流域。上海是西方人的大本营，离南京很近，蒋系认为定都南京是最合适、最安全的。他们对外肯定是不能这样说的，他们主要的说法是应该坚持“总理遗嘱”定都南京。
到底是定都北京还是南京，不仅是政治势力暗暗较劲，社会上的争论也很热烈。
吴稚晖就支持定都南京，他说了四点，似乎比较能够代表南方人的看法。第一当然还是说要坚持“总理遗嘱”。第二点说，从陆上来看南京偏东，但若加上海域来看，南京就比较适中了。他应该是想强调，作为一个现代国家必须要有海洋意识，近现代崛起的大国都是海洋大国。第三点说南京靠近上海，有巨大的投资来源，很容易就建设起来了。而北京是古城，不适合成为新时代的首都。第四点还是跟上海有关，上海是国际大都市，贸易大都市，又是中国的舆论中心，所以首都设在靠近上海的南京最为合适。
1929年正在修建中的南京中山路
北方人不以为然，他们说南京地势低洼，夏天湿热，民风文弱，在历史上是六朝金粉之地，萎靡之气太重。这种说法固然玄学成分太强，但在当时确实有一定说服力，我们中国人比较迷信那些玄学。历史上，在南京建都的政权远不止六朝，然而平均算下来每个朝代存活时间都不长，似乎这里不具备稳固久远之气。三国的东吴，南北朝的宋、齐、梁、陈，南唐、太平天国都曾定都南京，却均未活过百年。明朝比较特殊，朱元璋定都南京，后来朱棣又迁都北京了。
20年代南京
关于“总理遗嘱”定都南京这件事，北方人并不直接反对，但有另一番解读。孙中山立遗嘱时北京还在军阀手里，因此才主张定都南京，这只是一个权宜之计。至于是不是权宜之计，现在是人故无对证，大家都可以各自解读。还说真正的遵循“总理遗嘱”是应该继承中山先生遗志，建设好国家，而不是墨守成规。
修建完成后的南京中山陵
这场定都问题的南北大论战持续了很久，最终在舆论上南方占据了上风。南方主要抓住了一个重要的“辩论大法”——扣帽子大法。
南方舆论说北京有东交民巷，那可是外国列强侵华特权的产物和中国耻辱的象征，你们还坚持定都北京是何居心？难道当洋人奴隶当上瘾了？
第二个是说，日本人势力在关外，与北京近在咫尺，日本人就很希望我们定都北京，便于他们掌控。你们所希望的和日本人如出一辙，这分明是“为外人作说客，为帝国主义作走狗”。
南方舆论甩出这两点后，北方舆论渐渐没了声势，这些帽子没人戴的起，只能躲着。据说连冯玉祥听到这种论调后都无话可说，不敢说什么了。
那么说，北方舆论为什么不能祭出扣帽子大法呢？北京在这方面有天然劣势，甩不出帽子。晚清以来，东交民巷确实一个刺眼的存在，就拿1900年来说东交民巷就是卖不过的坎。而巴黎和会后，中国民间普遍对日本比较排斥，超过了任何其他西方列强。日本还占着咱不少地方，其他列强在华一般是租界，跟日本情况有所不同。事实上那时候我们需要英美等列强的支持来扼制日本，因此定都南京，靠近英美势力似乎更合适。定都北京总不免让人觉得有羊入虎口的意思。
舆论上南方占了上风，政治上蒋系也占了上风，加上桂系李宗仁白崇禧也支持定都南京，后来冯玉祥、阎锡山也就不坚持了。