白登之圍，讓西漢開啟了與匈奴的和親之路。劉邦将宗室之女，作為和親公主嫁給冒頓單于，并與冒頓單于相約為兄弟，是以冒頓單于的後代出現了以劉氏為姓。但無論是劉邦也好，還是冒頓單于也罷，他們絕不會想到，在西晉末年會有一個劉姓匈奴人打着漢朝的旗号反對西晉，此人正是劉淵。
劉淵（？～310年），字元海，匈奴族，據說是冒頓單于後代 ，爺爺是南匈奴單于于夫羅，父親是左賢王劉豹，母親是呼延氏。雖然是匈奴人，但從祖父于夫羅時期開始，他們就已經内遷，是以劉淵除了繼承匈奴人的勇猛之外，還得以學習漢族的知識和文化，更是拜上黨人崔遊為師。長大後劉淵也是頗有聲望，就連曹魏司空王昶的兒子、西晉日後重臣王渾都和他關系一般。
等劉淵成為人質前往洛陽後，他和司馬昭父子開始産生交集，這其中當然少不了王渾的功勞。在王渾父子的勸說下，司馬炎更是一度打算啟用劉淵參與滅吳戰役，但在孔恂、楊珧等人的勸阻下才作罷。當秃發樹機能在西北作亂時，李憙再度舉薦劉淵前去平叛，但再一次被孔恂勸阻，司馬炎徹底斷了重用劉淵的念頭。
郁郁不得志的劉淵為此找王彌喝酒哭訴，結果被司馬攸得知此事。司馬攸直接勸司馬炎殺了劉淵，還在靠着王渾的力保，劉淵才逃過一劫。
後來劉豹去世，劉淵得以離開洛陽去接替父職，并先後擔任北部都尉、建威将軍、五部大都督等職，并被封爵為漢光鄉侯。但好景不長，因為部人叛逃出塞，劉淵被免官。這時他的另一個貴人司馬穎出現了，司馬穎上表推薦劉淵擔任甯朔将軍、監五部軍事。劉淵于是成了司馬穎手下。
随着八王之亂愈演愈烈，劉淵的堂祖父劉宣等人開始蠢蠢欲動，并秘密地共同推舉劉淵為大單于。當劉宣的秘使将秘謀的内容告訴劉淵，劉淵也是高興不已，請求司馬穎放他回故地會合行送葬之禮，但司馬穎沒有答應。
劉淵沒有等太久，因為和王浚關系破裂，王浚、司馬騰等人帶着鮮卑人的軍隊前來攻打司馬穎。劉淵看準時機，對司馬穎表示回去率領五部匈奴來幫助司馬穎作戰。司馬穎被劉淵的迷魂湯灌得非常高興，于是任命劉淵為北部單于、參丞相軍事，讓其回去召集部隊。
司馬穎不會想到，自己這是放虎歸山，劉淵回到左國城後，劉宣等人便為劉淵上大單于的稱号，二十日之間就聚衆五萬。劉淵倒也算有信義，盡管對司馬穎很不屑，卻還是打算按約定去幫助他。但被劉宣等人堅決勸，劉淵也被說動了，打算叛晉自立。
公元304年，劉淵築壇設祭，自稱漢王，赦免境内囚犯，建年号為元熙。劉淵這次背叛西晉打起的是漢朝的旗号，他先是追尊劉禅為孝懷皇帝，然後建造漢高祖以下三祖五宗的神位進行祭祀，企圖以此招攬人心。
此後劉淵擊敗西晉各方勢力，并接連攻下太原、泫氏、屯留、長子、中都等地。接着聽從侍中劉殷、王育的規勸，開始進據河東，攻占蒲阪、平陽。随着劉淵勢力壯大，王彌以及石勒等人都相繼投降劉淵。
公元308年，劉淵正式稱帝，改年号為永鳳，遷都平陽。然後命自己的兒子劉聰和王彌等人兩次進攻洛陽，但都遭到了西晉的頑強抵抗，未能攻陷洛陽。
公元310年，劉淵在光極殿因病去世，谥号為光文皇帝，廟号高祖，葬于永光陵。