抗日戰争爆發後，擔任八路軍總政治部組織部部長的黃克誠，被派往115師344旅擔任旅政委。
344旅的前身是紅15軍團，而紅15軍團的組建，是由徐海東紅25軍和劉志丹陝北紅軍合編而來。這是一支敢打敢拼，且戰鬥力強的部隊，大部分幹部都是原紅25軍出身。
他們善于猛沖猛打，用對付國民黨軍的辦法，打陣地戰、運動戰來對付日軍。因不了解日軍滿腦子所謂“武士道精神”，往往吃不少虧。
部隊有點山頭主義，畢較排外，黃克誠到部隊工作很難開展，甚至一些幹部對這位政委不感冒。不僅不聽的他的講話，甚至在生活上也針對黃克誠。
黃克誠是搞政治工作出身，并沒有用職務強制指令他們，而是耐心做工作，希望大家彼此了解後，關系自然緩和。
身為政委的他，一開始并不幹預打仗，作戰部署都是徐海東旅長和參謀長等人制定，可在作戰時經常吃虧，黃克誠也就時勸大家研究新打法，部隊的幹部基本上不聽意見。
這時候344旅發生一件大事，讓徐海東和黃克誠始料未及，687團團長張紹東和參謀長蘭國清欲率部叛變，最終他倆隻帶走幾個連排長，大部分部隊被帶回來。這給344旅敲響一個警鐘，政治工作應當加強。
或許以這個事件為契機，黃克誠在344旅的工作展開很順利。在之後的作戰中，黃克誠與徐海東一起研究作戰方案，有時候徐海東因病休養，黃克誠帶隊完成任務。
344旅在他倆的配合下打不少好仗，也有一些仗沒打好，讓中央和八路軍總部很着急。
町店一仗，徐海東和黃克誠的率領2個團伏擊敵軍，占領有利位置。原本可以用迫擊炮機槍對其進攻，然後沖鋒，這樣較小傷亡獲得較大戰果，可是這兩個團習慣猛打猛沖。
戰鬥打響不久，就與敵人展開白刃戰。日軍一開始被打措手不及，可日軍訓練有素，很快組織起來頑強抵抗，戰鬥打到天黑，日軍增援部隊趕來，也沒有徹底消滅敵人，部隊因傷亡打，撤出戰鬥。
該戰鬥殲敵五百多，自身傷亡也有二三百人。
八路軍總司令朱老總到344旅檢查工作，對旅長徐海東一番嚴厲批評。身體不好的徐海東因沒打好這仗，加上身體不好，咳血不止，遂請到延安治病學習。
徐海東離開部隊，誰來擔任旅長，朱老總和黃克誠商議讓田守堯代理，中央并不同意。田守堯為此鬧情緒，朱老總開黨委會，對田守堯進行教育工作，大家都不吭聲。朱老總發火說：你們這是什麼鳥黨委會？不敢自我批評，算什麼黨員。
在朱老總的指導下，部隊認真總結抗戰以來對教學，思想上有了很好轉變，從陣地戰轉為遊擊戰為主。
後來這支部隊，在黃克誠的率領下，先後改編為八路軍的二縱、五縱。最終南下支援華中，在皖南事變後改編為3師，成為陳毅麾下最能打的主力。
抗戰勝利後，3師主力部隊發展到三萬多人，奔赴東北再立新功。