隋炀帝楊廣即位後，李淵任兩郡太守，後來更是被召為殿内少監，衛尉少卿。李淵更是升任太原留守，李淵一躍成為太原地區的最高軍政長官。李淵在隋末因着千絲萬縷的關系，已經為自己建立了一些根基。
楊廣在位期間，一直在外潇灑，大修運河，老百姓日子并不好過，農民起義不斷。李淵眼見天下大亂，便與次子李世民挑杆起義，迅疾召回長子李建成，三子李元吉，一面派遣劉文靜出使突厥，請求畢可汗派兵相助，一面招募軍隊。
當時農民起義軍中，有一支瓦崗軍最為壯大，早在隋二世楊廣上位不久就有瞿讓在瓦崗寨聚衆起事，王伯當，單新雄，徐世績等紛紛加入，人數最多時更是達到百萬之衆。後來内讧，李密殺了瞿讓，主張的戰略也錯誤，最終兵敗。瓦崗軍被宇文化及和王世允打敗後，瓦崗名将紛紛投奔李淵，其中軍師徐世績，大将秦瓊，程咬金成了萬世傳頌的初唐名将。
瓦崗兵敗的同年，楊廣被叛軍殺死了，李淵乘勢逼迫楊侑将帝位傳給他，建立唐朝，他就是曆史上的唐高祖李淵。