太元二十年（395年），北魏在三合陂之战中消灭了后燕重甲骑兵主力之后，势力越发强盛。隆安元年（397年），后燕皇帝慕容垂去世后，后燕再也无法阻止崛起的北魏占据河北、山西。后燕的两个分支分别到了山东、辽宁，又成立了两个短命的南燕、北燕政权。
随后北魏接连向东北、西北用兵，削平了北方的各个割据势力，开始成为草原和中原地区的盟主一样的存在，开始有统一的趋势。北魏政权经过一次宫廷政变，太宗皇帝明元帝拓跋嗣即位。
这时，南方也出现了一个英雄人物，人称“寄奴”的刘裕。在讨灭桓楚时立下功勋，随后刘裕扩大势力，排斥异己，短短几年功夫，就已成为南朝军中首脑。刘裕与拓跋嗣的交手是在刘裕出兵讨灭后秦的过程中发生在黄河岸边的一次战斗，在战斗中，刘裕采用了“却月阵”抵御住了北魏骑兵的冲击，随后又用批亢捣虚之计打败了北魏军队。其后，北魏皇朝终刘裕在世不敢再生南向之志。
刘裕
刘裕打下关中，本来计划继续经略西北，完成汉地统一，可是后来传来了刘穆之病逝的消息。深谙权谋之争的刘裕担心后方生乱，因此就留下次子刘义真镇守长安，自己率领主力部队回到了江南，重复了一遍曹操、曹丕的故事，取代了东晋皇朝，建立起刘宋王朝。刘宋王朝成立的时候，周方各国惧怕刘裕的威名，纷纷派遣使者来表示臣服。北魏是中原大国，也派遣了使者来表示承认。
刘裕在世的这段时间，北魏政权四面都是敌人，北方有柔然，西部有胡夏，这几方势力都曾对刘宋政权表示友好。因此，北魏在此期间只好采取守势，由于北魏都城在平城（今山西大同），漠北的柔然骑兵武装的兵锋时刻威胁着都城的安全。因此北魏只好集中兵力优先解决柔然的袭扰问题，并且沿着阴山一线修筑了1000多公里的长城。在长城之外，又修筑了一系列的城堡作为前进基地。
这些城堡中比较有名的，有6个军镇，分别是怀荒（今河北张北）﹑柔玄（今内蒙古兴和西北）﹑抚冥（今内蒙古四子王旗东南）﹑武川（今内蒙古武川西）、怀朔（今内蒙古固阳西南）、沃野（今内蒙古五原东北）。后来比较出名的关陇贵族军事集团，多数是出自武川。
檀道济
刘裕带出来的一批精兵猛将在长安之乱中损失多半，朝中只有一个檀道济还算是帅才。刘裕登基时已是老年，虽然他也想再次披挂上阵，完成北伐夙愿，不过毕竟耗不过时间，永初三年（422年）刘裕就病逝了。刘宋王朝先换的掌门人是刘义符，在皇位上待了没多久就被赶下去了，接着登上皇位的是刘义隆，就是开创了南朝有名的“元嘉之治”的那位皇帝。借着南朝的政变动荡机会，拓跋嗣派遣军将全面南征，想要拔除掉刘宋王朝建立在黄河以北的军事据点，同时占据河南。
虽然刘宋王朝勉力应付，最终还是被北魏军队占据了300里地。北魏虽然赢得了战争的胜利，皇帝却病倒了，而且一病不起，拓跋嗣的长子拓跋焘即位，这就是北魏历史上赫赫有名的北魏道武帝。这样，南北朝双雄几乎前后脚登上了皇位，他们年纪相仿，在位时间也基本相同，历史的风云画卷就在他们之间展开了。
刘义隆在位期间，一直有心恢复拓跋嗣趁着刘宋王朝换掌门人的时机占据的河南地，为此，他发动了三次北伐，目的都是恢复刘宋王朝旧疆。可能刘裕的光环实在过于强大，刘义隆也想像他的父亲那样能够威慑敌军，后来更是在身边人的忽悠下，“始有封狼居胥意”。
拓跋焘
刘宋王朝在刘义隆的治理下，物阜民丰，国家有了一定的财力，足以发动一场战争。不过他的对手——北魏太武帝拓跋焘，在位前期陆续攻灭北燕、北凉，讨平山胡，降鄯善，逐吐谷浑、灭夏国、大破柔然，武功赫赫。他不但消除了北魏的心腹之患，避免了南北两线同时作战的不利局面，北魏军团经过历次战火淬炼，挟胜利之威，士气高昂。北魏内部政治也较为清明，民族矛盾、派系纠纷现象亦得以大大缓解，正所谓上下一心，兵锋无敌。在这个时候进行北伐，和军事实力明显占优的北魏进行硬碰硬的较量，显然是不明智的。所以，刘义隆三次北伐，都是无果而终。第二次北伐，被北魏军队六路反攻，整个江北一带被北魏军队轮番破坏，失去了往日生机，不复有之前兴旺的气象了。
如果要比较立国环境的艰难，北魏立国要比刘宋更为艰难。可是北魏胜在弯刀快马，一力降十会，北魏成功地在北方建立起了军事殖民政权。这样的政权可能算不上稳固，经常爆发政变（北魏完成封建化之前，可算是草原部落的原始民主政权），可是能够坐稳北魏皇位的基本都以军功起家，这样就形成北魏军事能力一直处于强势的一方。
相形之下，刘宋王朝的处境就要复杂得多。在王朝内部，一直没有解决的问题是世家大族、地方藩镇的两大难题。刘姓皇族本来是寒族出身，以军功起家，在门阀政治占据主导地位的南朝基本能够崛起本身就是一个意外。刘裕分封诸子出镇强藩，同时削减地方强藩的官员属吏人数，对于世家大族既拉拢又打压。不过，这样并没有彻底解决东晋以来皇权不振，地方势力离心的政治问题。刘义隆打破了东晋以来惨淡经营的旧秩序，却没能够建立起新的政治秩序，世家大族的能量再次强大起来，并且借助于地方宗王的名义向皇权发动挑战。南朝后来的历史上多次上演的宫廷之战，就是在这种背景下发生的。
刘义隆
刘义隆晚年因为立嗣问题被杀，南朝此后陷入长期的动乱状态。北魏王朝却也没有闲着，他们也没有办法整合自己的国内各部势力。作为军事殖民政权，北魏一直在游牧、农耕两种经济模式之间徘徊，尤其是柔然独立后拉起了草原部落对抗北魏中央政府之后，北魏朝廷的立国根基必须要有所决断——他们选择以中原为腹地，羁縻草原的统治措施。为此，北魏必须要取得中原汉人的认可，他们要把自己的政权变成正统政权，并且取得汉地大姓的支持。北魏的早期的“三长制”就是过渡期出台的政策，体现了北魏皇室转向融合汉地的努力。
这样的转型本身也没有问题，可是北魏政府操之过急，一刀切的政策严重伤害了六镇军民的感情。北魏在刘宋王朝覆亡至萧衍重新建政这段期间，北魏一直在致力于政权本地化建设，他们在争取统治的正统性和合法性，在积极地汉化改革，这以隆昌元年（494年）迁都洛阳为标志。北魏在汉化改革之后，就一直陷入自己内部的族群分裂的矛盾中，并最终爆发了六镇起义，直接颠覆了北魏皇朝。
在此期间，北魏也并不是毫无作为，他们也有过南征的举动，尤其是北魏的皇帝尤重军功，他们皇位的合法性之一就是军功，所以他们也时常有伐丧讨乱之举，不过北魏军事力量重在骑兵，在河南、淮北平原一带还有发挥的空间，一旦到了长江天堑，就英雄无用武之地了。所以北魏，以及之后的东魏、西魏，他们能够凭借军事能量获得的最大的利益即在于长江之北的土地。至于江东，还需要北方完成统一整合之后，有余力建立起一支相当规模的水军才可以讨伐吞并。
南北朝形势图
至于说到南朝混乱，这种政治上的混乱并不能代表世家大族和两大军事集团对抗外敌的意愿和能力。南朝本来是有多次机会，优先于北朝完成内部势力整合的，然而这种整合始终没有形成。虽然南朝的水军、步军为主的军队北伐很难在北方完成穿插、佯动、分割、包围等机动性较强的攻击任务，但是在保家卫国（保的是他们自己的家族利益）方面还是可以达成相当一致，这也导致了南朝攻击不足，自保有余的状态。
这样，南北朝就在拓跋焘、刘义隆之后，分别进行各自政权内部的势力整合，北朝无力南下吞并南朝，南朝同样也无法北伐封狼居胥，双方维持着这样的局面一直到隋朝。说起来，隋朝也没有照顾好内部的世家大族的利益，直到唐朝武则天之后，逐步发展的科举制才逐渐消除了地方势力离心的问题。所以，唐朝之后，大一统政权渐成常态，南北朝分裂越发少了。