中國古典戲劇中有《趙太祖三下南唐》的故事，在民間百姓中流傳很廣，受到人們廣泛歡迎。然而這個故事在曆史上卻并未發生過，實際上率領軍隊三下南唐作戰的并非宋太祖趙匡胤，而是後周世宗柴榮。柴榮率領後周軍隊三次攻打南唐，消滅了南唐軍隊的有生力量，逼迫南唐中主李璟割讓淮南淮北大片土地，讓這個南方第一大國由盛轉衰。過程中讓人難以了解的是，積極促成這次出兵的宰相李谷在開戰初期便被柴榮罷免，讓他失去了與南唐名臣韓熙載約定會獵于吳的設想，這也被人認為是後周無法将南唐滅國的原因之一。
宰相李谷是促使後周向南唐出兵的主要朝廷重臣之一，也是後周太祖郭威留給柴榮的重要大臣。李谷與南唐名臣韓熙載是好友，韓熙載為躲避戰亂南下南吳時，李谷便去淮水邊的正陽渡口送行。當時兩人互相約定，李谷為中原之相便南下滅吳，韓熙載若為南吳之相則北上中原。這是他們仿照赤壁之戰前曹操與孫權會獵于吳的約定，也成為李谷積極推動後周對吳作戰的原因之一。後來柴榮接受了李谷的建議，同意派兵攻打南唐，拉開了戰争的序幕。于是李谷以宰相的地位出任後周的前軍統帥，麾下聚集了王彥超、韓令坤等十二位後周名将。
李谷率軍從當初韓熙載過河的正陽渡口南下，然後連續擊敗南唐軍隊，兵臨南唐重鎮壽州。南唐皇帝李璟派大将劉彥貞率軍三萬支援，并出兵攻打正陽縣渡口，欲将後周前軍困在淮水南岸，使其腹背受敵。李谷與部下商議後決定下退軍扼守正陽縣渡口，等柴榮的後軍抵達再做打算。柴榮在得到這個消息後表示反對，派人前去阻止李谷撤軍，但已經來不及了。由于李谷動作過快，撤退又非常匆忙，發生了沿途掠奪和遺留淮北役夫的事情。事後柴榮大怒，罷免了李谷前軍都部署和宰相的職務，将南征事務交給李重進主持。
從史書的記載來看，柴榮把軍隊的沿途掠奪和遺留淮北役夫的罪名歸于李谷，将作為罷免其相位和兵權的理由。從表面上看似乎合情合理，但細細推敲琢磨，卻感覺疑點重重。首先，五代十國是亂世時期，軍隊沿途劫掠是很正常的事情。如果這些軍隊不沿途劫掠，而是嚴肅軍紀和愛護百姓，那五代十國的亂世就不存在了。其次，李谷雖然把數百淮北的役夫遺留在壽州城下，但對強大的後周來說算不上損失，對軍隊戰鬥力也沒有影響。第三，李谷守住了正陽縣渡口，還配合趕來支援的李重進軍隊擊退了南唐大将劉彥貞的援軍。
可以說從戰局上看，李谷不但沒有過錯，而且還搶占了對南唐作戰的先手，是有功無過的。不論是軍隊劫掠，還是淮北役夫都不是什麼大事，以這個罪名罷免李谷，顯然有着欲加之罪的味道。而李谷又是郭威留下的重臣中僅次于馮道的宰相，柴榮這樣的操作就顯得非常過分了。
曆史的愛好者們對柴榮這個做法頗有微詞，各種說法也存在很大的争論。有的支援史書上的理由，也有相當大的一部分是認為柴榮欲加之罪。他們認為柴榮和李谷是在對南唐作戰的戰略思路上出現沖突，柴榮才借故将李谷拿下的。從各種史料的記載來看，這種說法有一定的道理，但并不完全。
前文講過，柴榮出兵南唐的目的不是滅國，而是打掉南唐的有生力量，解決北伐契丹和北漢的後顧之憂。是以從戰略上看，柴榮并沒打算一口氣吃掉南唐，而是采取削弱和蠶食吞并的政策。而李谷則與韓熙載有着會獵于吳的約定，是以對于一鼓作氣将南唐滅國很有信心。實際上從當時後周的國力來看，一口氣吃掉南唐的難度并不大，隻是在戰後需要一段時間消化戰争的成果。皇帝和宰相之間的确是存在沖突的，因這種沖突的計劃使得李谷被罷相并非不可能。但從史料上看，柴榮和李谷并未發生激烈的沖突，就此突然罷相就顯得很突兀了。
在史料中，高平之戰前柴榮也因為戰争政策問題與老宰相馮道發生激烈沖突。然後馮道自請辭去宰相職位，去給後周太祖郭威修建陵墓。但柴榮隻讓馮道當了郭威的山陵使，主持郭威的喪事，并沒有同意他辭去相位。可見柴榮奪取李谷兵權并不是簡單的戰争政策上的沖突，而是有更深層次的原因。戰争政策方面的沖突隻是兩人之間的導火索而已，核心的沖突還是在柴榮自己身上。結合史書上記載的柴榮多次找各種理由罷免或奪取重臣權力的操作，可以看出他借機奪去李谷兵權，是典型的猜忌其權勢的表現。
從史書來看，柴榮雖然被人誇為五代第一英主，但為人處事上比他的前任郭威和後任趙匡胤還是有不少差距的。他對于部下的猜疑，在執政方面剛愎自用，任人唯親等事情都不少見。首先在執政方面的剛愎自用就是典型例子，他容不下反對意見，一直以自己為中心。不論是與馮道發生沖突，還是借故罷免李谷，其背後都是認為自己的政策高人一籌。從史實的效果看，他的政策的确起到了很好的作用，但并不能說明别人就比他差。而他的這種剛愎自用也讓他陷入了誤區之中，各種猜疑大臣的安排最終卻給趙匡胤留下了造反的機會。
柴榮剛愎自用和猜忌重臣其中最大的表現便是在不信任老臣，郭威去世前留給他的老臣都讓他找各種理由給處理了。馮道作為四朝老臣，被他打發去修陵墓，修完陵墓便病逝了。李谷是接替馮道當宰相的，在後晉、後漢和後周的三朝老臣，在政治能力極強，是郭威指定的馮道接班人。然而在攻打南唐過程中被莫名其妙的奪取兵權然後罷相，罷相的理由居然還有風痹症。實際上柴榮的南征北戰卻少不了李谷的參謀，他三次攻打南唐，一次北伐契丹和北漢，都是由李谷制定戰略。這是典型的用人朝前，不用人朝後，說得不好聽就是卸磨殺驢。
除了馮道和李谷以外，郭威留下的樞密使魏仁浦也被柴榮逐漸架空。他先以升任宰相的方式将魏仁浦調離樞密院，讓自己的心腹王樸接替樞密使一職。然後又任命範質和王溥為知樞密院事，極大的削弱了魏仁浦掌管樞密院的權限。是以在郭威留下的四位重臣中，也隻有王樸因為是柴榮王府出身的關系，才沒有被削弱和排擠。如果王樸沒有過早去世，他的這個安排是沒有問題的。可王樸偏偏在去世前幾個月突然離世，讓樞密院出現了大的權力真空。而趙匡胤正是利用這個真空與副宰相王溥相勾結，為後來的陳橋兵變布下了大局。
實際上郭威在去世前的安排都是很有道理的，提前預防着各種可能發生政變的隐患。他任命馮道為宰相，讓李谷當接班人，就是防止年老的馮道突然去世，朝廷出現無人做主的情況。他安排王樸做開封府尹，就是為了給柴榮登基做準備，便于柴榮控制東京汴梁城的政治局勢。他安排魏仁浦當樞密使，就是為了轄制各方藩鎮的軍隊，避免他們擁兵自重。他把天雄軍節度使符彥卿的兩個女兒嫁給柴榮，就是争取這個軍方第一重臣的支援。他逼迫張永德和李重進對柴榮效忠，就是要讓皇室和外戚團結，防止内亂的出現。
可以說郭威的這些操作布下了天羅地網，如果柴榮照着做，根本不會給趙匡胤留下造反的機會。然而柴榮的猜忌和任人唯親卻将這個天羅地網主動打破，給趙匡胤留下了很好的機會。馮道和王樸去世後，李谷和魏仁浦又被架空，這給了趙匡胤掌控東京汴梁城的機會。他擔心自己去世後幼小的柴宗訓成為傀儡皇帝，便将符彥卿和李重進外放，又奪去了張永德的兵權，結果使趙匡胤成了禁軍中一家獨大的人物。正是因為柴榮這種自作聰明剛愎自用的個性，才使得他在臨終的布置上昏招疊出，葬送了後周的江山。
柴榮在攻打南唐過程中将李谷罷相看起來影響并不大，但卻顯示出他狹隘的政治觀念。正是在這種政治觀念的影響下，他才做出了各種昏聩的操作。趙匡胤曾感慨過，若是王樸不死，他沒有機會穿上龍袍。同樣，若是與王樸齊名的李谷當宰相，趙匡胤也沒機會和王溥勾結，更無法把禁軍三衙的主官都換成自己的人。是以宋朝的建立與其說是趙匡胤欺負後周的孤兒寡母，還不如說是柴榮聰明反被聰明誤，自己幹了開門揖盜的事情。是以我們看到，在宋朝建立後，李筠、李重進、魏仁浦在懷念後周時挂的都是郭威的圖像，而非去世的柴榮。