遣了兩萬多人前來平定，翟讓吓壞後想要逃走，但李勣阻止了。他指揮的瓦崗軍采用軍事戰術，結果将隋軍全部殲滅。當時蒲山公李密參與楊玄感反叛，兵敗逃亡。李勣與王伯當知道李密為天下英雄，一同勸說翟讓奉李密為主。在公元617年，李密自稱魏公，而李勣被封為了右武候大将軍，統領軍隊。
隋朝得知消息後率領軍隊讨伐李密。結果李勣使用奇計在洛水兩岸擊敗王世充，李密也是以封他為東海郡公。在當時隋朝天災人禍使得饑民遍地，隋朝也沒有認真對待此事，每天也餓死了數萬人。李勣向李密請求支援災民，李密同意後帶五千人從原武渡過黃河，進攻黎陽倉的隋朝守軍。攻破後開倉招群眾随便領糧，使得隊伍不斷壯大起來。後來瓦崗軍内部發生沖突，翟讓被李密給殺死了。混亂中李勣也被士卒砍了一刀，身受重傷。
公元618年3月，隋炀帝在江都被殺。李密在5月派李勣征讨叛将王德仁，以報其殺房彥藻之仇。李勣擊敗王德仁，迫使向唐王李淵投降。徐世勣守黎陽倉，宇文化及率軍四面攻城，形勢危急。李勣從城中向外挖道地，忽然現身城外，大敗宇文化及，迫使其解圍而去。而在這一年，太府卿元文都等擁立越王楊侗在洛陽稱帝。派使者赦免李密等人，李勣被重新授為右武侯大将軍。
公元618年10月，李密被王世充擊敗後歸順于唐朝。李密原來所統領的屬地都由李勣接管。在公元619年，李勣派使者緻信李密想要把原來屬于李密的東西還給他。使者初到朝廷，李淵聽說李勣沒有奏表，隻寫了封信給李密，頗感奇怪。待到使者把李勣的本意告知李淵後，李淵頗受感動，下诏封他為萊國公。由于在隋朝時期，李勣的原名一直都叫徐世勣，是以歸順唐朝後便被賜姓李氏，再賜良田五十頃和上等宅第一所。至此徐勣從徐世勣改名為了李世勣。
在公元619年9月，河北軍閥窦建德進攻相州，淮陽王李神通率領軍隊逃至黎陽。窦建德在11月攻陷黎陽，李神通、魏徵和同安公主等人都被俘虜了。李勣因李蓋被俘隻好傳回投降。李勣當時想要歸順唐朝，但又擔心此舉将連累他的父親。他私下和郭孝恪商議後，決定先為窦建德立功，取得信任後再做打算。不久後，李勣在獲嘉襲擊敗王世充的軍隊，李勣取得窦建德的信任。後來勸說窦建德前去河南伺機殺掉，但由于窦建德的妻子産子所耽誤。李勣後來既不能殺掉窦建德，計劃又被洩漏。是以隻能和郭孝恪率領幾十名軍隊向唐朝投降。