抗日战争爆发后，担任八路军总政治部组织部部长的黄克诚，被派往115师344旅担任旅政委。
344旅的前身是红15军团，而红15军团的组建，是由徐海东红25军和刘志丹陕北红军合编而来。这是一支敢打敢拼，且战斗力强的部队，大部分干部都是原红25军出身。
他们善于猛冲猛打，用对付国民党军的办法，打阵地战、运动战来对付日军。因不了解日军满脑子所谓“武士道精神”，往往吃不少亏。
部队有点山头主义，毕较排外，黄克诚到部队工作很难开展，甚至一些干部对这位政委不感冒。不仅不听的他的讲话，甚至在生活上也针对黄克诚。
黄克诚是搞政治工作出身，并没有用职务强制命令他们，而是耐心做工作，希望大家彼此了解后，关系自然缓和。
身为政委的他，一开始并不干预打仗，作战部署都是徐海东旅长和参谋长等人制定，可在作战时经常吃亏，黄克诚也就时劝大家研究新打法，部队的干部基本上不听意见。
这时候344旅发生一件大事，让徐海东和黄克诚始料未及，687团团长张绍东和参谋长兰国清欲率部叛变，最终他俩只带走几个连排长，大部分部队被带回来。这给344旅敲响一个警钟，政治工作应当加强。
或许以这个事件为契机，黄克诚在344旅的工作展开很顺利。在之后的作战中，黄克诚与徐海东一起研究作战方案，有时候徐海东因病休养，黄克诚带队完成任务。
344旅在他俩的配合下打不少好仗，也有一些仗没打好，让中央和八路军总部很着急。
町店一仗，徐海东和黄克诚的率领2个团伏击敌军，占领有利位置。原本可以用迫击炮机枪对其进攻，然后冲锋，这样较小伤亡获得较大战果，可是这两个团习惯猛打猛冲。
战斗打响不久，就与敌人展开白刃战。日军一开始被打措手不及，可日军训练有素，很快组织起来顽强抵抗，战斗打到天黑，日军增援部队赶来，也没有彻底消灭敌人，部队因伤亡打，撤出战斗。
该战斗歼敌五百多，自身伤亡也有二三百人。
八路军总司令朱老总到344旅检查工作，对旅长徐海东一番严厉批评。身体不好的徐海东因没打好这仗，加上身体不好，咳血不止，遂请到延安治病学习。
徐海东离开部队，谁来担任旅长，朱老总和黄克诚商议让田守尧代理，中央并不同意。田守尧为此闹情绪，朱老总开党委会，对田守尧进行教育工作，大家都不吭声。朱老总发火说：你们这是什么鸟党委会？不敢自我批评，算什么党员。
在朱老总的指导下，部队认真总结抗战以来对教学，思想上有了很好转变，从阵地战转为游击战为主。
后来这支部队，在黄克诚的率领下，先后改编为八路军的二纵、五纵。最终南下支援华中，在皖南事变后改编为3师，成为陈毅麾下最能打的主力。
抗战胜利后，3师主力部队发展到三万多人，奔赴东北再立新功。