1937年9月25日拂晓，山西灵丘县平型关东侧乔沟一带，林彪、聂荣臻率领115师的685团、686团、687团经过一夜风雨行军，悄悄进入了伏击日军阵地。
在此之前，为打好这一仗，林彪曾三次到平型关乔沟一带进行实地勘察。第一次他是带着参谋人员和电台去的。第二次他是化了装去侦察的。第三次是和聂荣臻带着旅长、团长们去的，并在现场向各团指定了埋伏地点，明确了师、旅、团指挥所的位置。乔沟长约7公里，崖高数丈，陡峭如削，崖顶平缓，杂草丛生。
天依旧阴沉沉的，冷风飕飕，战士们穿着淋湿的衣服，隐蔽在山沟里等待作战命令。林彪趴在指挥部里，两手举着望远镜，观察着前方沟底的公路。8点钟，公路前方出现一个慢慢移动的小红点，红点越来越近，是一面高举的太阳旗。鬼子来了！林彪拿起电话，命令部队准备出击。
日军二十几个尖兵走在前面，相隔20米远是三路纵队，刺刀映着阳光，一闪一闪。指挥官们骑着高头大马。后面是数不清的汽车，还有拉着山炮的大车，隆隆的马达声传过来。日军的大队人马已经进入了伏击圈。林彪看着日军的先头部队过去，没有吭声，又队日军过去，他仍不吭声，当日军指挥官快接近公路北边那座老爷庙时，他才喊出一声：“发信号弹！”
随着信号弹升空，早已埋伏好的685团战士同时开火，步枪、机枪、手榴弹、迫击炮发起了猛烈攻击。毫无戒备的日军突然遭到迎头痛击，顿时被打的人仰车翻，一片混乱。但他们毕竟是具有“武士道”精神的日本军人，而且是训练有素的精锐“王牌军”，经过最初的慌乱，很快镇定下来，或三人一组背靠背开始突防，或依托汽车进行反击，一边寻找制高点。面对这种情况，为了不给日军任何机会，林彪马上命令部队冲锋，居高临下向日军冲杀，对日军实行分割、包围，展开白刃战。
685团二营五连连长曾贤生，外号叫“猛子”，发起冲锋后，率先向敌人突击。二十分钟内，全连用手榴弹炸毁了二十多辆汽车。在白刃战中，曾贤生一个人刺死十几个鬼子。曾贤生身上到处是伤是血，当一群鬼子向他逼近时，曾贤生拉响了仅有的一颗手榴弹，与敌人同归于尽。五连指导员身负重伤，依然在指挥部队；排长牺牲了，班长顶替；班长牺牲了，战士接上。打到最后，全连只剩三十多位战友，仍然顽强地与敌人拼杀。三营的九连和十连，冲上公路后伤亡很大，依然勇敢与敌人拼杀，以一当十，没有子弹了就用刺刀，刺刀断了就用枪托，枪托折了就和敌人抱成一团扭打，哪怕只有几秒钟的空隙，战士们也能飞速地拣起石块将鬼子的脑壳砸碎。
日军一面还击，一面向老爷庙前的缺口冲。八路军的机枪、手榴弹、迫击炮全部集中向缺口处扫射、轰击。日军一批又一批倒下，但是为了打开生路，日军加强火力，一次又一次冲杀，企图抢占公路北面的制高点老爷庙。林彪也发现了这个问题，如果丢失了老爷庙这个高地，后果不堪设想。林彪对686团团长李天佑说：“你们一定要冲下公路，把敌人切成几段，用一个营抢占老爷庙，拿下了这个制高点。”为夺取老爷庙，敌我双方展开了殊死较量。
686团三营战士钻进烟雾里，有的往前跑，有的往前爬，有的往前滚，冲上了公路，同敌人展开了白刃格斗，只见枪托飞舞，马刀闪光，吼杀声、爆炸声，搅成一团，经过半个小时的拼杀，敌人支持不住，纷纷藏到汽车底下。此时，八路军的战士向日军喊话：“缴枪不杀！优待俘虏！”。然而，眼前的日军不仅不懂中国话，而且还是一群经过法西斯军国主义训练的顽固派。许多战士因为缺乏对日军作战的经验，反被垂死的敌人杀伤了，敌军的伤兵同我们的伤员扭打，直到拼死为止。三营伤亡很大，冲上公路以后，九连干部差不多打光了，全连只剩了十多个人。战斗仍然在激烈进行，三营营长负伤，坚持不下火线，继续指挥部队作战。李天佑见状，即令二营增援，终于占领了老爷庙制高点。
八路军占领老爷庙以后，居高临下，打得山沟里的敌人无处躲藏。日军指挥官立即挥刀喊叫，指挥日军继续争夺老爷庙，成群的步兵往上爬，敌机也来轰炸，贴着山头在空中支援着敌人。情况十分严重，为了避免敌机从空中打击，八路军战士们继续与日军展开白刃战，造成你中有我、我中有你的混战局面。团长李天佑命令部队：“一定要坚持到底，直至最后一支枪，最后一颗子弹。”敌人不断地冲上来，又不断地被消灭。经过反复较量，副团长杨勇负伤。
同一时刻，杨得志指挥的685团在右，徐海东指挥的687团在左，也向挤在沟底的日军展开一次又一次的攻击，白刃战此起彼伏，直杀得尸骨成山，血流成河。日军没能占领老爷庙，只能一面继续攻击，一面拼死向来路突围。打到天黑，一部分日军终于突出了伏击地。由于688团因大雨冲毁道路没有及时赶到伏击地点，终于让一部分日军逃出死亡之地。
在同一天的另外一个地方，115师独立团团长杨成武率部前往驿马岭阻击涞源、广灵两个方面的日军援兵，以切断敌人的公路运输线，保证主力部队歼灭平型关的正面日军。当杨成武率领独立团以急行军速度赶往预定地点时，日军已经占领了驿马岭。他马上命令部队占领公路两旁的山头，构筑工事，堵住敌人的去路。独立团面对的是兵力超过自身数倍的敌人，这又是一场硬碰硬的较量。
曾保堂，时任115师独立团一营营长，担负阻击援敌任务。当日军一个联队靠近阵地时，曾保堂举起驳壳枪，打响了第一枪。瞬时，机枪、步枪、手榴弹响成一片。战士大喊着冲向敌人，开始了白刃战。激烈的战斗中，独立团一营教导员张文松身先士卒，不幸中弹牺牲。一连连长张德仁在捅杀数名鬼子后身负重伤，最后拼尽全力抱住一名鬼子滚下山崖。一营一连和三连减员过半，有的班排全部阵亡，牺牲人员的遗体上，都是身中数弹。在独立团将士的全力阻击下，日军在驿马岭地区留下了300多具尸体。
25日下午6时，杨成武接到平型关战役结束的消息，独立团预备队和一营一个连又立刻插向敌人侧后方投入战斗，鬼子夺路逃向涞源城，独立团乘胜追击了50多里，打到涞源城下，日军胆寒，弃城而逃。
在乔沟的这场伏击战中，八路军歼敌1000余人，击毁汽车100余辆，缴获一批辎重和武器，取得了全国抗战以来中国军队的首次大胜利。但由于不了解日军的“武士道”精神和作战能力，八路军也付出了伤亡600余人的代价，并且没有抓到一个俘虏，相反为了俘获受伤日军，还付出了一些不必要的牺牲。
当时，在115师的侧翼，是国民党阎锡山的部队。当115师与日军在平型关大战之际，本来约定协同作战的阎锡山部队，却在隔山相望，袖手旁观。随后，日军增援平型关的部队正火速赶来。115师在连续作战的疲劳状态下，不得不撤出平型关。29日，日军占领平型关。
平型关一战后，八路军全面进入游击战。之后不久，林彪因被阎锡山的士兵误伤，赴苏联治伤疗养。对于林彪来说，平型关战役是他抗日的第一仗，也是他抗日的最后一仗。