百灵庙位于绥远省北部，东南距归绥160余公里，地处交通要道，战略位置十分重要。“九一八”事变之后，日本关东军扶植蒙古德王自立军政府，建立傀儡政权。无论是日本人还是伪军，都把百灵庙视为军事重镇和后勤补给基地。
绥战打响之后，伪蒙军在百灵庙驻扎了大批人马，囤积了大量军用物资。对晋绥军而言，夺回百灵庙的控制权关乎整个绥远战争的大局。红格尔图之战胜利后，傅作义总司令当即着手准备攻打百灵庙的行动。
根据侦察兵报告：百灵庙一带四面环山，山外则地势平坦，可谓易守难攻。在庙内驻守的伪蒙军兵力达3000余人，并且拥有坚固的防御工事和充足的物资。为一举拿下这一军事重镇，傅作义制定了先发制人、出敌不意的奇袭战术，令骑兵师长孙长胜为前敌总指挥，第211旅旅长孙兰峰为副总指挥，指挥骑兵第2师三个团、第211旅两个步兵团、第70师刘效曾步兵团等约5000余人，秘密向指定地点集结。
11月22日，孙长胜、孙兰峰向集结部队下达进攻命令。23日午夜，晋绥军骑兵师冒着零下二十多度的严寒，踏着一尺多厚的积雪，率先向百灵庙发起进攻，孙兰峰部紧随其后，掩护骑兵师冲锋。激战打响后，日伪军在日本特务机关长胜岛角芳的亲自指挥下，凭借坚固的工事进行顽抗。百灵庙易守难攻，骑兵师冲锋时遭到日伪军重机枪扫射，第一轮冲锋伤亡较重。
日伪军指挥官胜岛角芳，命令庙内的日伪军拼死抵抗。日伪军依托百灵庙高大的院墙，将轻重机枪架在房子上、院墙上朝庙外的晋绥军扫射。日伪军又将院墙凿空，将野炮放于高处俯射晋绥军骑兵。一发发炮弹落入寺庙门前的空地上，炸得泥土石块四处飞溅。炮击之中，晋绥军阵亡骑兵连长1人，士兵百余人。
扼守百灵庙咽喉处的是伪蒙军的一个排，这个排堵住了晋绥军进攻的路线，不拔掉这个钉子就无法打下百灵庙。骑兵师师长孙长胜下令攻击后，发现几次攻击都很难奏效，于是临时拟定了攻心战术，对这个排的伪军进行策反。孙长胜命令骑兵迅速靠近百灵庙，分几队从不同方向压迫过去，抵达有效距离后，将劝降伪蒙军的书信掷入庙中，并对这个排的伪军大喊：“中国人不打中国人！兄弟们给鬼子卖命不值得！”。
如此反复三次，在重伤连长1人、骑兵阵亡数十人后，终于策反了一个排的伪蒙军。这一排伪蒙军当即调转枪口，朝百灵庙日伪军据点发起进攻，攻击日伪军百灵庙指挥部。这个排的伪军连续攻入百灵庙深处，日伪军始料不及，纷纷被击溃。在内外夹攻之下，百灵庙内的日伪军阵势大乱，日军指挥官胜岛角芳和伪蒙军第7师师长穆克登宝等人见百灵庙无法坚守，于是跳上汽车仓皇逃往大庙，除了少部日伪军跟着逃出了百灵庙之外，大部分部队见大势已去，不得不纷纷缴械投降。
24日上午8时，晋绥军顺利收复百灵庙。此战共击毙日伪军300余人，其中有日本人尸体20余具，缴获枪炮、电台、汽油及面粉等大量物资。12月3日，伪蒙军及“大汉义军”又在日本顾问小滨的指挥下大规模反扑，孙长胜命令晋绥军骑兵师出庙迎击，骑兵师在前、孙兰峰的步兵在左右随同掩护冲锋，日伪军被击溃，仓皇逃往百灵庙以东的锡拉木伦庙。锡拉木伦庙位于四子王旗北部，西距百灵庙约35公里。
为彻底肃清逃窜至此的残敌，孙长胜率部继续收复锡拉木伦庙。恰在此时，伪“大汉义军”内部发生分裂，王英手下的石玉山部、金宪章部相继阵前倒戈加入晋绥军。12月9日，金宪章率突击队100多人攻入日本顾问驻地，将小滨以下日本军官27人全部打死。日本顾问小滨等军官被打死后，日伪军顿时失去了指挥。孙长胜迅速下令发起总攻，晋绥军骑兵师与伪蒙军骑兵2师在锡拉木伦庙外的开阔草地上进行野战。
骑兵对骑兵，二师对二师，马刀对马刀，步枪对步枪。数千骑兵迅速分成三大队厮杀在一起，一时间人叫马嘶，枪声频频。激战两个多小时，晋绥军骑兵师第2师击溃以骁勇著称的伪蒙军骑兵第2师，残敌纷纷窜逃。趁此间歇，晋绥军李思温团的步兵攻入锡拉木伦庙，打垮了王英的伪“大汉义军”。晋绥军骑兵师扫荡了庙外的伪盟军骑兵，步兵又攻入了锡拉木伦庙，伪“大汉义军”张万庆所部安华、王子修等将领见大势已去，局势已无法逆转，于是纷纷率部缴械投降，将所部人马归入晋绥军中。伪“大汉义军”首领王英见自己的精锐主力被灭，绝望之下率领残部逃回张北。自此，王英的伪“大汉义军”彻底覆灭。
百灵庙之战，晋绥军孙长胜的骑兵第2师对阵王英的伪蒙军第2师，王牌骑兵对王牌骑兵，2师对2师，最终晋绥军完胜伪蒙骑兵，一举连夺两个军事基地，歼灭了王英的伪“大汉义军”，拔掉了这个为虎作伥、助纣为虐的叛徒的武装，真是大快人心，振奋士气。百灵庙之战，这是晋绥军骑兵的风光一战，也是一场经典之战。