永嘉五年（311年），總攬朝政的司馬越病死項城，不久，都城洛陽為匈奴人劉淵建立的漢政權攻陷，晉懷帝被俘。逃出洛陽的晉朝皇族傳檄四方，要求各地出兵勤王。最後，琅邪王司馬睿被推舉為盟主。
司馬睿，字景文，河内溫縣（今河南溫縣西）人，司馬懿曾孫。公元276年生于洛陽，15歲時襲琅邪王爵。在“八王之亂”動蕩險惡的政治環境中，處于帝室庶族地位的司馬睿無兵無權，為避殺身之禍，他采取恭儉退讓的方針，盡量避免卷入鬥争的漩渦。在洛陽，司馬睿交結密切的朋友隻有王導。王導，字茂弘，出身于北方頭等士族的琅邪王氏。王導是西晉末年很有才能的政治家，他預見到天下将要大亂，為了施展自己的政治抱負，曾多次勸說司馬睿離開多事的都城洛陽。《世說新語·言語》引鄧粲《晉紀》：“導與元帝有布衣之好，知中國将亂，勸帝渡江。”永嘉元年（307年）九月，司馬睿偕王導渡江至建邺（今江蘇南京）。
司馬越死前的310年，司馬睿控制了與建邺毗鄰的淮南一帶，江南政權的割據範圍得到進步擴大司馬越死後，司馬睿被懷帝委任為鎮東大将軍兼督揚、江、湘、廣、交五州諸軍事的職務。司馬睿對于西晉朝廷的重視不以為意，他把主要精力集中在經營江南上，根本無心北顧。接受盟主的稱号以後，他沒有理睬北方的求援，卻加緊了排除異己的行動：打敗了江州刺史華轶趕走了豫州刺史裴憲，使自己的勢力範圍接近于長江中遊地區。
早在西晉末年，由洛陽外流的官僚和士族以及中原地區的廣大漢族人口鑒于局勢惡化，紛紛南遷江東。“是時，幽冀青并兖五州及徐州之淮北流民，相率過江淮”（《晉書食貨志》）。人口的南遷，往往是以一個大族為機關的集體遷徙。這些北方來的士庶集團具有強大的勢力，為了争取他們的支援，司馬睿接受了王導的建議，吸收他們參與政權，很快取得了北方僑人士族的支援，使之成為自己政權的支柱。
不過也有一部分南遷的北方大族名士對司馬睿勢力的孤弱表示失望。汝南大族周某發牢騷說：“我是因為中原地區不安定才來此避難的，但這裡如此單弱，怎麼能保證安全呢！”
司馬睿的勢力不斷擴大，為何還說他“如此單弱”呢？原來，立足江南的司馬睿尚未得到江南豪族的支援。其時，南遷的北方士族稱為“僑族”或“僑人”、“僑姓”。唐代劉禹錫有傳世名句：“舊世王謝堂前燕，飛入尋常百姓家。”這裡的“王謝就是僑人代表一一以王導為主的王家和謝安為主的謝家。南方士族則稱為“吳人”、“吳姓”，在當地有着相當大的勢力。從晉惠帝太安二年（303年）到晉懷帝永嘉四年（310年），江南曾先後發生了三起流民起義和武裝叛亂，其中吳興人錢增自号平西大将軍、八州都督，立原吳國主孫皓子為吳王，建立政權，屢敗司馬睿，但最後均被江南士族所鎮壓，是為“三定江南”。這說明當時江南士族的實力和社會地位舉足輕重。
可是，司馬睿彼時并未得到江南士族的擁戴。他剛到建康的時候，江南的一些大士族地主嫌他地位低，不怎麼看得起他，也不來拜見。《晉書·王導傳》載：“（琅邪王司馬）睿徒鎮建邺，吳人不附，居月餘，士庶莫有至者。”為此，司馬睿心裡很不踏實，前來找王導商量。
王導清醒地看到江南士族雖有一定力量，但并沒有發展成割據一方的足夠勢力，是以主張拉攏而非打壓。為了取得江東士族的支援，王導在永嘉二年（308年）三月三日這一天，特意安排了一次出遊。
王導的族兄王敦，時任揚州刺史，勢力極盛。王導把王敦請到建邺，“謂之曰：‘琅邪王仁德雖厚，而名論猶輕。兄威風已振，宜有以匡濟者。”
三月初三，按照當地的風俗是禊節，百姓和官員部要到江邊去“求福消災”。這一天，王導讓司馬睿上華麗的轎子，以儀仗隊鳴鑼開道前往江邊，王導、王敦和從北方來的大官、名士個個騎着高頭大馬緊随其後，排成一支威風十足的隊伍（帝親觀禊徕肩輿，具成儀，導及諸名勝皆騎從）。
隆重的儀仗和威嚴的隊列，使江東士族大為震驚。他們見王導、王教這些有聲望的人對司馬睿如此尊敬，怕自已怠慢了司馬睿，“成驚懼，乃相率拜于道左”江東士族們一個接一個地出來排在路旁，拜見司馬睿，“由是吳會風靡，百姓歸心焉”王導的計謀，出自“三十六計”之“樹上開花”，此計屬并戰計，是全計的第二十九計：借局布勢，力小勢大。鴻漸于陸，其羽可用為儀也，意為借助某種局面或手段布成有利的陣勢，兵力弱小但可使陣勢顯出強大的樣子。運用此計使弱小的部隊通過憑借某種因素改變外部形态，使陣容顯得充實強大，就像鴻雁長了羽毛豐滿的翅膀一樣。（《易經·漸》卦語：鴻漸于陸，其羽可
為儀，吉利。）
“三十六計”按語說：此樹本無花，而樹則可以有花，剪彩貼之，不細察者不易發，使花與樹交相輝映，而成玲珑全局也。此蓋布精兵于友軍之陣，完其勢以威敵也。司馬睿正是借“樹上開花”使自己的陣容強大起來。他先借形式上的強大威懾江南士族，繼爾真的羽毛豐滿：他聽從王導的安排，拉攏江南士族，吸收北方人才，鞏固了地位。司馬睿十分感激王導，說：“你真是我的蕭何啊！”《晉紀》這樣評價說：“晉中興之功，導實居其首。”王導于南渡之事起了重大作用，并利用自己的智慧與計謀使司馬睿在江南站穩了腳跟，爾後始有“王與馬，共天下”之說。
司馬睿割據江南時，正是匈奴人的漢政權橫行中原之時。永嘉七年（313年）二月，劉淵之子劉聰将俘獲的晉懷帝殺死。是年四月，占據長安的秦王司馬邺稱帝，是為晉愍帝。晉愍帝任命司馬睿為左丞相、大都督，負責都督陝東諸軍事，想以此拉攏司馬睿出兵，以緩解漢将劉曜對長安的圍困。但是，司馬睿以“方平定江東，未暇北伐”（《資治通鑒》）為由，拒不執行愍帝的诏令。
晉愍帝建興四年（316年），漢将劉曜陷長安，俘愍帝，西晉滅亡。次年三月，司馬睿即晉王位，318年正式即位稱帝，改元太興，占據長江中下遊以及淮河、珠江流域地區，史稱東晉。