1937年7月7日，日本华北驻屯军一部于卢沟桥附近演习时借口士兵失踪发动“卢沟桥事变”，全民侵华战争爆发。在此国家、民族生死存亡的关键时刻，国共双方迅速达成合作，中国工农红军主力改编为国民革命军第八路军，南方数省坚持游击斗争的红军游击队改编为国民革命军陆军新编第四军，简称“八路军”“新四军”。
八路军由位于西北的红一、红二、红四方面军及西北红军等红军主力改编组成，主力为115师、120师、129师及总部特务团，其中红一方面军及陕南七十四师等改编为八路军115师。1937年8月25日，八路军115师于云阳编成后即东渡黄河奔赴华北抗日前线，1937年9月25日在平型关伏击日军取得著名的平型关大捷，此后115师逐渐分兵，先后开辟晋察冀、山东等敌后抗日根据地。
1938年6月至1939年初，八路军115师主力分批挺进山东，与山东当地八路军山东纵队等一起开辟、巩固了山东敌后抗日根据地，部队也迅速发展壮大，1940年10月至1941年7月115师部队相继整编为七个教导旅，并组建了鲁西、湖西、冀鲁边、鲁南等军区，其中教导第三旅、教导第七旅先后划归八路军第二纵队指挥。
八路军第二纵队成立于1940年2月，由344旅、青年决死第三纵队、新编第一旅、华北抗日民军第一旅等部队编成，左权任司令员，黄克诚任政治委员。1940年4月，为加强冀鲁豫地区力量，黄克诚率八路军第二纵队344旅、华北抗日民军第一旅等部队南下，与冀鲁豫区杨得志领导的冀鲁豫支队合编为新的八路军第二纵队，同时成立冀鲁豫军区，军区由纵队兼。杨得志任八路军第二纵队司令员，黄克诚任政治委员，军区司令员由黄克诚兼任，纵队辖新编第二旅、新编第三旅、344旅、华北抗日民军第一旅及南进支队等部队。
1940年5月下旬，黄克诚率344旅、新编第二旅主力（5团、6团）南下豫皖苏边区，杨得志率八路军第二纵队留下部队坚持斗争。1941年7月，新编第三旅、新编第二旅4团合编为教导第七旅，建制属115师，由八路军第二纵队指挥。教导第七旅成立时旅长为韩先楚，政治委员兼副旅长赵基梅，后由余克勤任旅长，1942年12月教导第七旅与冀鲁豫军区第七军分区合并，番号自此撤销。
115师教导第三旅由115师343旅运河支队及独立支队第二团等编成，兼鲁西军区，杨勇任旅长兼军区司令员，政治委员苏振华，副旅长王秉璋。1941年6月，教导第三旅划归八路军第二纵队建制，鲁西军区也并入冀鲁豫军区，1942年12月教导第三旅与冀鲁豫军区第二军分区合并，教导第三旅番号撤销时旅长为王秉璋。