永嘉五年（311年），总揽朝政的司马越病死项城，不久，都城洛阳为匈奴人刘渊建立的汉政权攻陷，晋怀帝被俘。逃出洛阳的晋朝皇族传檄四方，要求各地出兵勤王。最后，琅邪王司马睿被推举为盟主。
司马睿，字景文，河内温县（今河南温县西）人，司马懿曾孙。公元276年生于洛阳，15岁时袭琅邪王爵。在“八王之乱”动荡险恶的政治环境中，处于帝室庶族地位的司马睿无兵无权，为避杀身之祸，他采取恭俭退让的方针，尽量避免卷入斗争的漩涡。在洛阳，司马睿交结密切的朋友只有王导。王导，字茂弘，出身于北方头等士族的琅邪王氏。王导是西晋末年很有才能的政治家，他预见到天下将要大乱，为了施展自己的政治抱负，曾多次劝说司马睿离开多事的都城洛阳。《世说新语·言语》引邓粲《晋纪》：“导与元帝有布衣之好，知中国将乱，劝帝渡江。”永嘉元年（307年）九月，司马睿偕王导渡江至建邺（今江苏南京）。
司马越死前的310年，司马睿控制了与建邺毗邻的淮南一带，江南政权的割据范围得到进步扩大司马越死后，司马睿被怀帝委任为镇东大将军兼督扬、江、湘、广、交五州诸军事的职务。司马睿对于西晋朝廷的重视不以为意，他把主要精力集中在经营江南上，根本无心北顾。接受盟主的称号以后，他没有理睬北方的求援，却加紧了排除异己的行动：打败了江州刺史华轶赶走了豫州刺史裴宪，使自己的势力范围接近于长江中游地区。
早在西晋末年，由洛阳外流的官僚和士族以及中原地区的广大汉族人口鉴于局势恶化，纷纷南迁江东。“是时，幽冀青并兖五州及徐州之淮北流民，相率过江淮”（《晋书食货志》）。人口的南迁，往往是以一个大族为单位的集体迁徙。这些北方来的士庶集团具有强大的势力，为了争取他们的支持，司马睿接受了王导的建议，吸收他们参与政权，很快取得了北方侨人士族的支持，使之成为自己政权的支柱。
不过也有一部分南迁的北方大族名士对司马睿势力的孤弱表示失望。汝南大族周某发牢骚说：“我是因为中原地区不安定才来此避难的，但这里如此单弱，怎么能保证安全呢！”
司马睿的势力不断扩大，为何还说他“如此单弱”呢？原来，立足江南的司马睿尚未得到江南豪族的支持。其时，南迁的北方士族称为“侨族”或“侨人”、“侨姓”。唐代刘禹锡有传世名句：“旧世王谢堂前燕，飞入寻常百姓家。”这里的“王谢就是侨人代表一一以王导为主的王家和谢安为主的谢家。南方士族则称为“吴人”、“吴姓”，在当地有着相当大的势力。从晋惠帝太安二年（303年）到晋怀帝永嘉四年（310年），江南曾先后发生了三起流民起义和武装叛乱，其中吴兴人钱增自号平西大将军、八州都督，立原吴国主孙皓子为吴王，建立政权，屡败司马睿，但最后均被江南士族所镇压，是为“三定江南”。这说明当时江南士族的实力和社会地位举足轻重。
可是，司马睿彼时并未得到江南士族的拥戴。他刚到建康的时候，江南的一些大士族地主嫌他地位低，不怎么看得起他，也不来拜见。《晋书·王导传》载：“（琅邪王司马）睿徒镇建邺，吴人不附，居月余，士庶莫有至者。”为此，司马睿心里很不踏实，前来找王导商量。
王导清醒地看到江南士族虽有一定力量，但并没有发展成割据一方的足够势力，所以主张拉拢而非打压。为了取得江东士族的支持，王导在永嘉二年（308年）三月三日这一天，特意安排了一次出游。
王导的族兄王敦，时任扬州刺史，势力极盛。王导把王敦请到建邺，“谓之曰：‘琅邪王仁德虽厚，而名论犹轻。兄威风已振，宜有以匡济者。”
三月初三，按照当地的风俗是禊节，百姓和官员部要到江边去“求福消灾”。这一天，王导让司马睿上华丽的轿子，以仪仗队鸣锣开道前往江边，王导、王敦和从北方来的大官、名士个个骑着高头大马紧随其后，排成一支威风十足的队伍（帝亲观禊徕肩舆，具成仪，导及诸名胜皆骑从）。
隆重的仪仗和威严的队列，使江东士族大为震惊。他们见王导、王教这些有声望的人对司马睿如此尊敬，怕自已怠慢了司马睿，“成惊惧，乃相率拜于道左”江东士族们一个接一个地出来排在路旁，拜见司马睿，“由是吴会风靡，百姓归心焉”王导的计谋，出自“三十六计”之“树上开花”，此计属并战计，是全计的第二十九计：借局布势，力小势大。鸿渐于陆，其羽可用为仪也，意为借助某种局面或手段布成有利的阵势，兵力弱小但可使阵势显出强大的样子。运用此计使弱小的部队通过凭借某种因素改变外部形态，使阵容显得充实强大，就像鸿雁长了羽毛丰满的翅膀一样。（《易经·渐》卦语：鸿渐于陆，其羽可
为仪，吉利。）
“三十六计”按语说：此树本无花，而树则可以有花，剪彩贴之，不细察者不易发，使花与树交相辉映，而成玲珑全局也。此盖布精兵于友军之阵，完其势以威敌也。司马睿正是借“树上开花”使自己的阵容强大起来。他先借形式上的强大威慑江南士族，继尔真的羽毛丰满：他听从王导的安排，拉拢江南士族，吸收北方人才，巩固了地位。司马睿十分感激王导，说：“你真是我的萧何啊！”《晋纪》这样评价说：“晋中兴之功，导实居其首。”王导于南渡之事起了重大作用，并利用自己的智慧与计谋使司马睿在江南站稳了脚跟，尔后始有“王与马，共天下”之说。
司马睿割据江南时，正是匈奴人的汉政权横行中原之时。永嘉七年（313年）二月，刘渊之子刘聪将俘获的晋怀帝杀死。是年四月，占据长安的秦王司马邺称帝，是为晋愍帝。晋愍帝任命司马睿为左丞相、大都督，负责都督陕东诸军事，想以此拉拢司马睿出兵，以缓解汉将刘曜对长安的围困。但是，司马睿以“方平定江东，未暇北伐”（《資治通鉴》）为由，拒不执行愍帝的诏令。
晋愍帝建兴四年（316年），汉将刘曜陷长安，俘愍帝，西晋灭亡。次年三月，司马睿即晋王位，318年正式即位称帝，改元太兴，占据长江中下游以及淮河、珠江流域地区，史称东晋。