隋炀帝杨广即位后，李渊任两郡太守，后来更是被召为殿内少监，卫尉少卿。李渊更是升任太原留守，李渊一跃成为太原地区的最高军政长官。李渊在隋末因着千丝万缕的关系，已经为自己建立了一些根基。
杨广在位期间，一直在外潇洒，大修运河，老百姓日子并不好过，农民起义不断。李渊眼见天下大乱，便与次子李世民挑杆起义，迅疾召回长子李建成，三子李元吉，一面派遣刘文静出使突厥，请求毕可汗派兵相助，一面招募军队。
当时农民起义军中，有一支瓦岗军最为壮大，早在隋二世杨广上位不久就有瞿让在瓦岗寨聚众起事，王伯当，单新雄，徐世绩等纷纷加入，人数最多时更是达到百万之众。后来内讧，李密杀了瞿让，主张的战略也错误，最终兵败。瓦岗军被宇文化及和王世允打败后，瓦岗名将纷纷投奔李渊，其中军师徐世绩，大将秦琼，程咬金成了万世传颂的初唐名将。
瓦岗兵败的同年，杨广被叛军杀死了，李渊乘势逼迫杨侑将帝位传给他，建立唐朝，他就是历史上的唐高祖李渊。