李德裕是趙郡贊皇（今河北贊皇）人，因為父親李吉甫是中書侍郎，是以他從小在父親的影響下飽讀詩書，胸懷大志。不過李德裕并不喜歡參加科考，是因為家庭的原因才得以進入仕途的。
從小李德裕就表現出了自己的不凡資質，包括唐憲宗在内的許多人都被對他非常贊賞，唐憲宗還時常把他抱坐在自己的膝上。入仕後，因為父親李吉甫升任宰相，為了避嫌，李德裕便到藩鎮去任職。元和十五年（820年），被召入翰林院擔任翰林學士後，和李紳、元稹交情深厚，他們三人都才華出衆，故而被當時的人們稱為“三俊”。之後李德裕的仕途還算順利，先後擔任屯田員外郎、考功郎中、知制诰、中書舍人等職。
到了中唐時期，朝廷之上牛黨和李黨兩派士大夫開始了前後将近四十年年的朋黨之争，就是曆史上著名的“牛李黨争”。因為牛僧孺和李宗闵參加科考是針砭時弊，考官将他們推薦給了唐憲宗，當時是宰相的李吉甫便到唐憲宗面前哭訴牛李二人揭露自己的短處，認為他們與考官有私情。于是唐憲宗将考官降職，也沒有提拔牛李二人。不料朝中一片嘩然，大臣們都為牛李叫屈，并且認為是李吉甫嫉妒賢能，不得已，唐憲宗便把李吉甫貶為了淮南節度使。
之後牛僧孺和李德裕都入朝為官，以李吉甫的事情為導火索，牛僧孺等人與科舉出身的官員結成一派，李德裕等人與士族出身的官員結成一派。牛黨得勢，便趁機打擊李黨；李黨得勢時也趁機排擠牛黨，兩派之間的明争暗鬥，就連皇帝也感到頭疼。但是等到唐玄宗繼位後，李德裕失勢，牛黨趁機極力排擠李德裕，使得李德裕被貶谪為閑官。
不過李德裕在朝中并不是專注于膨脹之争，也做了許多實事。保利年間，亳州一帶據說出産的聖水包治百病，可以讓患病的人喝下就痊愈。消息傳來傳去，越來越像真的。李德裕便在大市場召集百姓，讓人用鍋裝滿了所謂的聖水，又放了五斤豬肉進去煮，李德裕對百姓說：“如果這真的是聖水的話，豬肉就不會起任何的變化！”結果不一會兒，豬肉都被煮的爛熟，謠言随即平息。
到了太和六年（832年），唐文宗将李德裕召回，拜為兵部尚書，一年後官拜宰相。但是好景不長，李德裕因為為人正直受到了奸臣排擠，又被貶谪。直到開成五年（839年），唐武宗繼位，又将李德裕從淮南召回，再拜宰相。巧合的是，李德裕父親李吉甫兩人都是五十一歲出征淮南，五十四歲又被征召回朝，再次拜相。之後五年，李德裕外攘回纥，内平澤潞，裁汰冗官，制馭宦官，功績顯赫，又被拜為太尉，封為趙國公。此間唐武宗和李德裕的君臣相知也成為了晚唐絕唱。後唐武宗病逝，唐宣宗繼位，唐玄宗素來厭惡李德裕，加上奸臣讒言，李德裕被貶死崖州。
據說曾經李德裕像一個僧人探問前塵，僧人說他會被貶責，但是仍會被召回，還說李德裕的一生注定要吃一萬隻羊，而還有五百隻羊沒吃完，是以一定能再回朝廷。十幾日後振武節度使送了李德裕五百隻羊，他大驚失色，忙問僧人：“這些羊我不吃可以免去災禍嗎？”僧人道：“羊已送到，即是你不吃，也已經是歸你所有了。”不久李德裕果然被扁到了崖州并死在了那裡。後人便用“食萬羊”這個典故來表示聽天由命，不必強求富貴。