西安事變後，國共實作第二次合作，為了能建立抗日統一戰線，在紅軍改編為八路軍初期，因受國民黨幹涉，我黨作出了許多重大讓步，其中之一就是取消了政治委員制度，政治部一度改為政訓處，雖然字面上看差别不大，但實際工作職責卻大不同。
西安事變
1937年10月，平型關大捷後，八路軍115師撤到五台山休整。八路軍政治部主任任弼時派政治部組織部部長黃克誠到部隊檢查工作。在115師，黃克誠和師、團幹部交流，深入連隊和幹部戰士座談，在部隊短短十幾天，黃克誠就發現很多問題。115師剛成立2個多月，由于國共合作抗戰，八路軍同國軍在戰場上協同配合作戰增多，來往密切，國民黨部隊的許多歪風邪氣就不可避免影響到我軍的幹部戰士。
平型關大捷
部隊不設政委，幹部戰士的思想政治工作無人管理。其戰鬥作風明顯渙散，部隊各級幹部和戰士還滋長了不好的習氣。長此以往，八路軍會變得像國民黨軍一樣，官僚主義盛行，官兵脫離、階級對立。分成各種派系、各種山頭，嚴重影響八路軍的戰鬥力。
比如見面時不稱同志，而叫弟兄們。正常的工作來往，都要吃吃喝喝。還有個别幹部羨慕國民黨軍官，講究排場，私自印起了“少将”的名片，在戰士面前耍威風，對老百姓耀武揚威。最嚴重的是八路軍115師參謀長周昆，受到國民黨糖衣炮彈的誘惑，利欲熏心，竟然私攜巨款潛逃，給我軍造成了極大的負面影響。
黃克誠
回到總部後，黃克誠向任弼時作了彙報，并把檢查中發現的問題，起草書面材料向中央軍委報告，建議立即恢複我軍的政治委員制度，報告得到了毛主席的高度重視，并批示：恢複政委制度。随後政治委員制度就在八路軍中重建立立起來，3個師政訓處改為政治部，政訓處主任改任政委。
黃克誠與戰友們
很快，黃克誠也被任命為八路軍115師344旅政委，與旅長徐海東率領344旅轉戰晉冀豫，建立了太行山南段根據地。
抗戰勝利後，黃克誠再次敏銳地意識到，在中國未來的戰略格局中，東北有着極其重要的戰略地位。東北不僅物産豐富，還是遠東地區最重要的工業基地，特别是國民黨軍隊都在大後方，東北缺少國軍主力部隊，誰搶先占領東北，誰就擁有極大的戰略主動。是以黃克誠向中央建議，盡快着手東北的布局，提出八路軍應該立即進軍東北，人數至少5萬，最好在10萬人以上。
黃克誠的建議與中央軍委和毛主席不謀而合，9月19日，中共中央下發《關于目前任務和向南防禦、向北發展的戰略方針和部署的訓示》，作出了進軍東北的戰略部署，從全國各地抽調精兵強将，北上東北。1945年9月底，黃克誠接到指令進軍東北。當時中央考慮到路程遙遠，建議黃克誠在山東休整一段時間再行動。黃克誠認為現在必須以最短的時間進入東北，搶占戰略要地，上級同意了。黃克誠立即率領新四軍第3師3.5萬人，日夜兼程，急赴東北，成為我軍最早抵達東北的主力部隊之一。
當時最先進入東北的曾克林向中央報告：東北遍地都是武器，部隊去東北不必攜帶武器。先期到達東北的曾克林确實得到蘇軍移交的一座日軍軍火庫，裡面裝備好，數量多，讓曾克林的部隊換裝一新，而後來蘇軍将大部分日軍軍火移交給國民黨軍。許多從山東進入東北的八路軍，聽信東北遍地是武器的傳言，将裝備直接留在山東，導緻到東北後，我軍出現了大量“徒手兵”，甚至是沒槍沒衣的“叫花子”。
但黃克誠卻認為手中有糧，心中不慌，3師不但帶足武器彈藥，還帶上了過冬的棉衣棉褲。經過山東時還拒絕了老上司陳毅讓其停留幾天，支援山東部隊作戰的請求，馬不停蹄趕赴關外。
11月25日，黃克誠率部抵達錦州。立即投入到放手發動群衆，建立根據地，消滅土匪的戰鬥中。
陳毅
黃克誠的戰略眼光很獨到，陳毅曾這樣評價過黃克誠：“别看你們黃師長戴着近視眼鏡，他的眼睛看得可遠啦，是千裡眼”。