1936年5月间，马占山派他的旧部袁晓轩到绥远见李上林，袁见李上林，表明他是代表马占山来的，主要目的是为联络抗战力量，准备中日战争爆发时响应马的号召，并归他领导。袁走后，李上林想，马为什么要派他来绥远他呢？
大概是因在傅作义部办军事教育多年，同时又兼乡村训练所、保安队干部训练所、警察训练所以及各中学校的军事教官，接触面比较广泛，所以才找他。同年9月，马又派邹大鹏到绥远见李上林，当时李已任绥远省国民兵副司令，负实际责任。
1937年9月17日，李上林到达包头。将所有国民兵编成三个旅。李到包头的第二天，马占山带骑兵第六师、一个步兵团和特务营后方到包头。马当时系东北挺进军司令兼东北招抚事宜。20日早晨，据包头铁路人员报告，在归绥的赵承绶（山西骑司令，傅作义调回山西后，接替傅在绥远指挥作战）和袁庆曾己走了，归绥已成空城，而敌人在丰镇、集宁还没有西进。
李和马占山听说袁、赵已走，归绥无人主持，即令包头站长调集车辆归绥运兵，所有骑兵开始沿包绥公路东进（实际上袁、赵二人是21日离开归绥到托县乘船转向太原的）。22日，李和马占山乘火车到归绥，即开始布置作战。
袁、赵走后，李将一切情形报告傅作义，傅当即回电让李继任国民兵司令，带所有官兵在绥远继续抗战。据谍报员报告，日军攻下丰镇、集宁后，没有立即向归绥进攻，是因为对归绥的情况还不甚清楚，地形还没侦察好，所以暂在丰镇、集宁待命。
27日，日军开始由丰镇、集宁分三路向归绥进攻。东路日军一个旅团配属蒙伪军一个骑兵师、一个炮兵大队沿平绥路向旗下营进攻，南路日军一个旅团、两个炮兵大队由师团长后宫指挥，从丰镇乘汽车经凉城县山口，向归绥南部大黑河进攻（大黑河在昭君坟附近，距归绥城南20华里）；北路敌人沿大青山北面经武川到归绥的坝口子，向归绥进攻(坝口子在归绥北20华里，武川县在归绥北140华里），部队由蒙伪军第九师门师长率领。
武川县和归绥中间隔着大青山，纵深有五六十里，李和马占山研究，实行离心退却，待敌人直扑归绥城后，再行内外夹击。马因他的部队除一个步兵团外，全系骑兵，在山沟里行动，隐藏及解决草料等问题，均不方便，遂将这个计划打消了。
李，马商量决定东路由骑兵第六师和一个步兵团堵击旗下营车站山口子，由刘桂五师长负责指挥；南路防守东大黑河，由马部吕存义旅负责；西大黑河由国民兵第三旅加一个团防守，归旅长孟文仲负责；李除和马占山策划全局外，并负责南路的指挥。
至于北路，因蒙伪军井得泉因事先已和马占山取得联系，准备沿大青山北面西进到坝口子实行反正，因此我们对坝口子没有配备兵力。守归绥山城防部队系国民兵两个团，总预备队为国民兵一个团和两个特务营。
28日，敌沿平绥路向旗下营进攻，因系隘路，正面竟不过三四华里，攻击很难进展。午后3时许，我全部守军进行出击，把敌人击退五六华里。这一天，东路敌军基本上毫无进展（日军没有全部投入战斗）。
28日早9时许，南路敌军先遣部队乘钢甲汽车到达凉城县山口于。旅长孟文仲正率部在凉城山口子埋设地雷，加强工事，作阻绝道路的布置，敌先遭部队约有五六百人乘20多辆钢甲车突然来到。孟仅率一营人，当即在山口附近与敌展开战斗。
至中午，日军始终没有突入山口，但敌后续部队陆续到达，由凉城山口东北面的羊城小道迂回到我守军后方。到午后3时许，孟看形势不利，遂率部退守白庙子村（白庙子距山口约2000多米，可以控制山口的进出，事先已作好防卫工事）。孟撤守白庙子后，敌将炮火集中轰击白庙子，摧毁大部工事。午后6时许，敌停止炮击，战斗进入休止状态。竟日的战斗，我伤亡40多人，李即令孟部在黄昏后撤回西大黑河，准备明日战斗。
29日早8时许，南路日军已向东西大黑河南岸前进，与我军隔河对峙，实行炮击。我在大黑河方面只有山炮6门，最初还可以射击，以后只要我们发射，敌炮兵由四面八方集中火力压制我们的炮兵。结果击毁我们两门炮，伤亡我二三十人。以后我们的炮兵发射几炮后赶快变换阵地，以免被敌炮击坏。
29日早9时许，李见双方炮击非常激烈，即率参谋处长范政通和卫士4人，另带预备队两个营，到大黑河前线。把预备队置于大黑河后方约2000多米的干渠内（为避免敌炮轰击，取疏散的队形），李即到第一线守兵战壕内观察隔岸敌人的动态。敌我仅一水之隔，相距不过七八百米。双方除炮击外，步机枪均未射击。
大黑河宽处不过五六十米，最深不过两米，沿河虽无船只，但一般地方均可徒涉。此时敌炮兵正向我后方第二线预备队射击。李估计敌炮将第二线摧毁后，即开始压制我第一线守兵以掩护他们步兵渡河。李令第一线守兵非在敌人渡河之际，不准射击。10时前后，东大黑河战斗异常激烈，但没有得到吕存义旅长的报告。
11时许，枪声逐渐沉寂，李和范处长带4名卫士离开战壕到东大黑河去，刚走出一二百米，敌炮兵即转变射向，开始向我第一线守兵对击以掩护步兵渡河。我们这时便加快向东大黑河前进，又走了百多米，忽然前面传来向我们射击的枪声，我们6个人当即疏散卧倒，听见一句“抓活的”，此时和敌距离约200米。这里地形起伏，便于隐蔽，我们不断地跑跑卧卧有五六次，最后跑到一条干水渠内，才脱离了危险。
李回到后方预备队时，敌炮兵虽集中射击，但我仅伤亡几个人。此时马占山亦来到前方，在距大黑河约2000米的桥梁附近督战。原来上午11时许，敌在东大黑河先用炮火和重机枪把我第一线守兵压制得不敢抬头，遂即实行强渡。适马占山来到前方督战，见吕旅长已退到桥梁附近，便说，李司令在前方还没有下来，你们不能退，赶快实行反攻。
在马占山严厉督促下，吕旅长又和敌军对峙了两三个小时。在西大黑河和国民兵对峙之敌，几次渡河均被我守军击退，因击伤而溺毙的不下二百人。最后敌绕道由东大黑河渡过，向西大黑河孟文仲旅的后方迂回包围。这时东大黑河的吕存义部已全部垮下来了，守西大黑河的孟旅，受敌前后夹击，损失很大。最左翼东面一个营损失已达三分之二，伤亡三四百人。
李看情势异常严重，急令向归绥城防撤退。在撤退时亦受到敌炮火阻击，损失相当严重。沿平绥路向旗下营进攻的敌军，于29日早开始猛烈攻击。刘桂五部竭力抵抗，直到中午敌仍无进展。午后2时许，敌由阵地左翼爬山迂回，钳制了整个阵地，使我后方交通联络以及指挥都受到严重威胁。同时正面之敌又实行猛攻，阵地左翼一部分被敌突破。支持到黄昏，刘桂五部也开始向归绥撤退。
29日午后1时许，马占山估计井得泉部将到达坝口子，遂带特务营到坝口子迎接井团。马临走前和李计议，打算带井团和特务营突然袭击直扑归绥之敌的侧后方。马于午后3时许到坝口子，适值蒙伪军的先头部队亦进至坝口子。马即派特务营长张荣新前去接头，结果得知对方不是井得泉部而是蒙伪军第九师。张看情形不对立即跑回报告。
此时敌先头部队约一个团已进入坝口子村，和马的特务营几乎混在一起，双方立即开火，一时人仰马翻，混战一场。马只带几名卫土，被敌六七十人围困在小院里，激战有1小时之久。正在危急之际，特务营排长带30多人来援救。又混战有两小时，马派人大嚷骑六师来增援了，敌人一时被唬住，停止了射击，马立即乘机带特务营撤回归绥。这场战斗我方伤亡六七十人。
30日早晨，敌军东、南、北三路都开始向归绥进迫，到中午即全面展开攻击。午后3时许，战斗非常激烈，城防工事多被破坏。我炮兵势劣。我守兵在敌未突击前，只有隐蔽待机。归绥城防原来虽已修筑，但没有完成，而新旧两城中间工事又非常薄弱(两城中间有2华里）。
午后5时许，南路日军由新旧两城中间突入赛马场地带，隔开了新旧两城。李和马占山认为当天晚上敌军不会有什么发展，因日军仗恃装备优越，战斗力强，不会和我们夜战；又加地理不熟，更不敢轻易行动。据此我们决定抽派四个连，分为两部分，由晚11时开始，第一部分以一个连向东、一个连向南骚扰敌人，到凌晨两点回来；第二部分的两个连由早3点出动。
仍分东、南两面出击，并以一部由西迂回专袭击敌之炮兵阵地，如此使敌整夜不得休息，打破他们明天的攻击计划，最低限度也可迟滞他们明天的攻击行动。于是我们决定由第一、第五两团各抽调两连出击。出击的结果使敌仓皇应战，彻夜不安，我占领了敌炮兵阵地，却因炮是由汽车牵引，无法推动，又没有破坏工具，最后仅把几十发炮弹抛进水沟里。
10月1日，直到过午，东、南、北各路敌军又开始进攻。午后4时许，南茶坊一带被日军突入，几乎形成巷战。但日军避免和我们巷战，突入南茶坊后，即和我守军对峙，并不前进。此时李和马占山、刘桂五等研究，认为现在情势已极为严重，今晚如不设法退走，明天敌人如四面合围，我们只有被缴械或被歼灭。趁现在西面还没有被围。
台阁木车站又停有我们的列车，于今晚黄昏后抽派一部分兵力对敌实行夜袭，借以掩护大部队退却，到台阁木车站上车，明早即可到达包头。晚6时许敌即停止进攻，大概敌为防止我们夜袭，早作准备。晚9时许，我们一面夜袭，一面开始撤退。2日早4时前后，所有部队到达台阁木车站均乘火车西进。7时前后，即全部到达包头。