刘渊，字元海，匈奴族人，远祖是汉初的冒顿单于。由于冒顿单于娶了汉高祖留刘邦的宗女为妻，并与刘邦约为兄弟，所以冒顿单于后人以“刘”为汉姓。刘渊自幼聪明伶俐，他的母亲也是匈奴人，姓呼延氏，但在刘渊七岁时去世了。七岁的刘渊像大人一样哀哭不绝，感动了邻里，当时的司空王昶听说此事，让让人送来财物，以褒奖刘渊的孝道。从小在西晋都城洛阳做人质，受汉文化影响程度较深，早年也曾立志报效晋国朝廷，可他最终却成了最先举起分裂大旗的人之一，这背后有着复杂的历史原因。
因为久居中原，刘渊所在部落汉化程度较高，刘渊自幼拜上党士人崔游为师，饱读儒家经典，常常和同学谈古论今。后来刘渊又学习武艺，擅长射箭，体力过人。
由于刘渊所在部落兵力强盛，共约三万余落，其父刘豹是左部帅，其祖父的弟弟呼厨泉是单于，所以在曹魏时期，十几岁的刘渊被迫远离族人，被送到都城洛阳当任子，就是为防止匈奴叛乱的人质。当时的权臣司马昭对刘渊十分礼遇，后来司马氏篡位，晋武帝司马炎也很欣赏刘渊，想要委以重任，打算让其领兵平吴。
其实这个时候，刘渊对中原王朝是没有反叛之心的。首先由于刘渊从小受儒家文化熏陶，到洛阳为人质时也受到了不错的礼遇。其次他的成长过程中，匈奴族和汉族也没有大的冲突，在洛阳时刘渊还交到不少名士朋友。所以刘渊暂时没有反叛的动机，此时司马炎基本可以放心委刘渊以重任。但孔恂、杨珧却进言：“臣下观察刘渊的才能，感到当今之世恐怕无人与之匹敌。陛下如果让他掌握少量兵马，则平吴事难成；若授以威权，则平吴之后，恐怕他将据有江南，不复称臣。与我族类不同者，其心必然不同。以刘渊统帅其部族，臣下尚且为陛下担忧寒心。如果以有天险为凭依的江南资助刘渊，怎么可以呢！”
司马炎听了这话，就不再提任命刘渊的事。刘渊因而很受打击。
后来关中鲜卑族秃发树机能叛乱，朝廷屡次镇压失败。尚书仆射上党人李憙劝武帝说：“陛下如果能够征发匈奴五部的兵力，授刘渊以一将军名号，令其西征平叛，凉州指日可定。”孔恂又跳出来说：“李公的话，还没有点破消除危患的道理。”李憙勃然大怒说：“以匈奴的强悍善战，刘渊的通晓用兵，再加上奉宣圣威，消除叛乱，还有什么可说的呢！”孔恂说：“刘渊如果能够平定凉州，斩树机能，恐怕凉州才真正有危难罢了。那时蛟龙如得云雨，将遨游长空，不再是池中之物。”晋武帝认为孔恂言之有理，担心刘渊趁机带领部族作乱，再次放弃任命刘渊。刘渊因而再次很受打击。
两次步入仕途受阻，刘渊心灰意冷，心态逐渐变化，不再想着为朝廷建功立业。刘豹死后，刘渊回到家乡，代为左部帅。他颇有政治才能，帐下聚集了很多豪杰名士。到杨骏主政时，刘渊被正式确立为匈奴五部领导。八王之乱开始后，司马颖担心刘渊作乱，又免其官职，让其到邺城任官。由于西晋政权对匈奴族采取歧视和防范的姿态，引起匈奴高层不满，加上西晋王庭内斗，实力大减，于是匈奴高层刘宣等密谋割据，复兴匈奴国，并推举刘渊为大单于。
众人之谋偷偷告知刘渊后，多年来受到朝廷怀疑和排挤的刘渊立即答应。刘渊以回部落参加葬礼为由，请求成都王司马颖放他回去，司马颖不同意。后来司马氏诸王攻战，刘渊以搬救兵为由回到左国城，短短二十天就召集了五万余人。
永兴元年（304），刘渊在左国城正式登上汉王位。他以复汉为名，追尊汉后主刘禅为孝怀皇帝，立汉高祖刘邦以下三祖五宗神主而祭之。而刘渊称帝仅仅是十六国乱世的开始。