在紅旗渠修建過程中，林縣的上司班子經受了許多政治風波和艱難曲折，上級上司大多給予了支援，但也有的不斷從中作梗。讓他們記憶深刻的是，有個副總理在知道自己批評錯了後，向他們真誠道歉，這是何等的高風亮節！遇上這樣的上司，是楊貴之幸，是紅旗渠之幸！
為了改變林縣嚴重缺水，人民生活十分艱難的狀況，在縣委書記楊貴的帶領下，林縣人民從1960年至1969年的十年間，開山鑿石，在太行山上修建了一條幹支渠長達1500公裡的人工天河，從根本上解決了林縣人民的用水問題。
1960年2月11日，紅旗渠正式動工，此時正值國家經受自然災害和蘇聯逼債嚴重困難時期。而後不久，中央三令五申，要求全國範圍内基礎設施工程全部停工下馬，實行百日休整，以減輕農民負擔。
在這種情況下，紅旗渠是建還是停？就擺在林縣縣委特别是書記楊貴的面前。楊貴反複思考後，在縣委擴大會上講：全國經濟困難、糧食緊張，上級的訓示必須執行，大部分民工傳回生産隊百日休整。但群衆修渠積極性高，眼看水到了家門口卻用不上既可惜又浪費，從實際出發，咱林縣還有幾千萬斤儲備糧，隻留300人鑿洞，發動青年黨團員自願報名。
這樣，紅旗渠繼續向前推進。300多名青年“螞蟻啃骨頭”，一錘一釺奮戰500天，硬是在懸崖峭壁上打通了總長616米的咽喉工程“青年洞”，為紅旗渠建設赢得了關鍵性的曆史機遇。
就在紅旗渠取得第一個階段性勝利的時候，1961年下半年，國務院副總理譚震林到河南新鄉七裡營公社蹲點。9月初參加了新鄉地委在豫北飯店召開的農村糾“左”會議。會上有人趁機誇大林縣當時存在的暫時困難，不顧事實向譚震林反映：“林縣群衆沒有飯吃，把樹皮都剝光了，縣委為了高舉紅旗，不顧群衆死活，還在大搞紅旗渠建設。”“群衆生活這麼苦，還讓劈山修渠，比秦始皇修長城、隋炀帝挖運河還苛刻。”
愛民心切的譚震林一聽，以為林縣情況很嚴重，人民都快活不下去了，縣委居然還在修建紅旗渠，于是當場批評楊貴是個死官僚，要撤銷他的職務。
與會的林縣縣委組織部長路加林仗義執言：“上司同志批評林縣，所談的情況不符合實際。”結果被立即撤職。9月7日， 楊貴被通知到地委開會。他到地委後，感到氣氛十分緊張，有些同志不敢和他說話握手。
當地委書記向他談了會議情況後，他提出三條意見：一、路加林的意見是正确的，如果因為實事求是講真話而被撤職，這才真是違犯“三不主義”；二、他不同意撤銷路加林的職務，如果修建紅旗渠是錯誤的，責任在他，由他承擔；三、請地委将他的意見報告省委和黨中央。
曾經和他在戰争年代摸爬滾打出來的戰友，時任輝縣的縣委副書記站在門外，匆匆說了幾句話：“老楊，有人在譚副總理面前告你的狀，副總理今天一聽就特别惱火，要撤你職，明天的會就是給你開的，好好地做個準備，明天争取主動，看看能不能寬大處理。”說完扭頭就走了。
楊貴說那天一晚上他都沒有睡着：“太平官好當啊，我楊貴不修這條渠，沒有人會指責我，班子裡的同志們不修這條渠，也絲毫不影響他們的升遷，我們修這條渠圖什麼？不就是圖一個百姓能夠安居樂業，為林縣的人民謀福利嗎！”
他想了整整一夜，最後認定，修這條渠沒有錯，為的是老百姓，為的是人民，要實話實說。
第二天會上，楊貴說：修建紅旗渠是林縣人民的迫切要求，如果說修建紅旗渠有錯誤，撤他的職可以，撤組織部長路加林的職務，他不同意。接着楊貴談了林縣的實際情況：當年幹旱缺水，16萬人翻山越嶺到一個十幾裡地以外的河邊去挑水吃；林縣每年遠道取水的人，跌傷者的不計其數，甚至有跌死的；沒有水，地裡長不出莊稼，沒有水，他們隻能背井離鄉。
我們黨不就是要為人民做主嗎？作為一個黨員、作為一個黨的幹部，黨性原則不允許我眼睜睜看着林縣地裡長不出莊稼，看着我的父老鄉親受苦受累，背井離鄉啊！
而且，當時大部分建渠民工已經撤出，隻留少部分人在鑿青年洞；林縣縣、社、隊三級還有一定數量的儲備糧，絕不是像有些人所說的那樣；盡快建渠引水，是為幹渴的林縣群衆着想。我說的都是實情，請組織上認真調查。
那一天，譚震林副總理一句話沒說，他用手示意楊貴坐下說，然後休會。随後，他馬上派身邊從業人員到林縣調查，一個星期之後，調查組的同志回來，彙報說楊貴說的都是實情！
在會議上，譚震林說的第一句話是：我要向林縣的同志、要向楊貴同志道歉，我錯了。他非常嚴肅地請所有參加會議的省市上司和各級幹部明确表态，林縣的父老鄉親們，已經靠着雙手取得了紅旗渠建設的第一個階段性的勝利，如果你們再不有所表示，等到将來有一天渠修成了，水流過來，我看你們有什麼臉面去見林縣的父老鄉親。
不久就恢複了路加林的職務。而且，兩個星期之後，上級第一批支援資金打到了紅旗渠建設的賬戶上，這真是雪中送炭啊。1963年12月25日，譚震林和李先念同志一起協調水電部、國家計委，把紅旗渠工程列入國家計劃，這是很重要的一個步驟，為紅旗渠的後續工程提供了保障。
後來譚震林對楊貴保護有加，譚震林的坦蕩胸襟令楊貴感動不已。