1936年5月間，馬占山派他的舊部袁曉軒到綏遠見李上林，袁見李上林，表明他是代表馬占山來的，主要目的是為聯絡抗戰力量，準備中日戰争爆發時響應馬的号召，并歸他上司。袁走後，李上林想，馬為什麼要派他來綏遠他呢？
大概是因在傅作義部辦軍事教育多年，同時又兼鄉村訓練所、保安隊幹部訓練所、警察訓練是以及各中學校的軍事教官，接觸面比較廣泛，是以才找他。同年9月，馬又派鄒大鵬到綏遠見李上林，當時李已任綏遠省國民兵副司令，負實際責任。
1937年9月17日，李上林到達標頭。将所有國民兵編成三個旅。李到標頭的第二天，馬占山帶騎兵第六師、一個步兵團和特務營後方到標頭。馬當時系東北挺進軍司令兼東北招撫事宜。20日早晨，據標頭鐵路人員報告，在歸綏的趙承绶（山西騎司令，傅作義調回山西後，接替傅在綏遠指揮作戰）和袁慶曾己走了，歸綏已成空城，而敵人在豐鎮、集甯還沒有西進。
李和馬占山聽說袁、趙已走，歸綏無人主持，即令標頭站長調集車輛歸綏運兵，所有騎兵開始沿包綏公路東進（實際上袁、趙二人是21日離開歸綏到托縣乘船轉向太原的）。22日，李和馬占山乘火車到歸綏，即開始布置作戰。
袁、趙走後，李将一切情形報告傅作義，傅當即回電讓李繼任國民兵司令，帶所有官兵在綏遠繼續抗戰。據諜報員報告，日軍攻下豐鎮、集甯後，沒有立即向歸綏進攻，是因為對歸綏的情況還不甚清楚，地形還沒偵察好，是以暫在豐鎮、集甯待命。
27日，日軍開始由豐鎮、集甯分三路向歸綏進攻。東路日軍一個旅團配屬蒙僞軍一個騎兵師、一個炮兵大隊沿平綏路向旗下營進攻，南路日軍一個旅團、兩個炮兵大隊由師團長後宮指揮，從豐鎮乘汽車經涼城縣山口，向歸綏南部大黑河進攻（大黑河在昭君墳附近，距歸綏城南20華裡）；北路敵人沿大青山北面經武川到歸綏的壩口子，向歸綏進攻(壩口子在歸綏北20華裡，武川縣在歸綏北140華裡），部隊由蒙僞軍第九師門師長率領。
武川縣和歸綏中間隔着大青山，縱深有五六十裡，李和馬占山研究，實行離心退卻，待敵人直撲歸綏城後，再行内外夾擊。馬因他的部隊除一個步兵團外，全系騎兵，在山溝裡行動，隐藏及解決草料等問題，均不友善，遂将這個計劃打消了。
李，馬商量決定東路由騎兵第六師和一個步兵團堵擊旗下營車站山口子，由劉桂五師長負責指揮；南路防守東大黑河，由馬部呂存義旅負責；西大黑河由國民兵第三旅加一個團防守，歸旅長孟文仲負責；李除和馬占山策劃全局外，并負責南路的指揮。
至于北路，因蒙僞軍井得泉因事先已和馬占山取得聯系，準備沿大青山北面西進到壩口子實行反正，是以我們對壩口子沒有配備兵力。守歸綏山城防部隊系國民兵兩個團，總預備隊為國民兵一個團和兩個特務營。
28日，敵沿平綏路向旗下營進攻，因系隘路，正面竟不過三四華裡，攻擊很難進展。午後3時許，我全部守軍進行出擊，把敵人擊退五六華裡。這一天，東路敵軍基本上毫無進展（日軍沒有全部投入戰鬥）。
28日早9時許，南路敵軍先遣部隊乘鋼甲汽車到達涼城縣山口于。旅長孟文仲正率部在涼城山口子埋設地雷，加強工事，作阻絕道路的布置，敵先遭部隊約有五六百人乘20多輛鋼甲車突然來到。孟僅率一營人，當即在山口附近與敵展開戰鬥。
至中午，日軍始終沒有突入山口，但敵後續部隊陸續到達，由涼城山口東北面的羊城小道迂回到我守軍後方。到午後3時許，孟看形勢不利，遂率部退守白廟子村（白廟子距山口約2000多米，可以控制山口的進出，事先已作好防衛工事）。孟撤守白廟子後，敵将炮火集中轟擊白廟子，摧毀大部工事。午後6時許，敵停止炮擊，戰鬥進入休止狀态。竟日的戰鬥，我傷亡40多人，李即令孟部在黃昏後撤回西大黑河，準備明日戰鬥。
29日早8時許，南路日軍已向東西大黑河南岸前進，與我軍隔河對峙，實行炮擊。我在大黑河方面隻有山炮6門，最初還可以射擊，以後隻要我們發射，敵炮兵由四面八方集中火力壓制我們的炮兵。結果擊毀我們兩門炮，傷亡我二三十人。以後我們的炮兵發射幾炮後趕快變換陣地，以免被敵炮擊壞。
29日早9時許，李見雙方炮擊非常激烈，即率參謀處長範政通和衛士4人，另帶預備隊兩個營，到大黑河前線。把預備隊置于大黑河後方約2000多米的幹渠内（為避免敵炮轟擊，取疏散的隊形），李即到第一線守兵戰壕内觀察隔岸敵人的動态。敵我僅一水之隔，相距不過七八百米。雙方除炮擊外，步機槍均未射擊。
大黑河寬處不過五六十米，最深不過兩米，沿河雖無船隻，但一般地方均可徒涉。此時敵炮兵正向我後方第二線預備隊射擊。李估計敵炮将第二線摧毀後，即開始壓制我第一線守兵以掩護他們步兵渡河。李令第一線守兵非在敵人渡河之際，不準射擊。10時前後，東大黑河戰鬥異常激烈，但沒有得到呂存義旅長的報告。
11時許，槍聲逐漸沉寂，李和範處長帶4名衛士離開戰壕到東大黑河去，剛走出一二百米，敵炮兵即轉變射向，開始向我第一線守兵對擊以掩護步兵渡河。我們這時便加快向東大黑河前進，又走了百多米，忽然前面傳來向我們射擊的槍聲，我們6個人當即疏散卧倒，聽見一句“抓活的”，此時和敵距離約200米。這裡地形起伏，便于隐蔽，我們不斷地跑跑卧卧有五六次，最後跑到一條幹水渠内，才脫離了危險。
李回到後方預備隊時，敵炮兵雖集中射擊，但我僅傷亡幾個人。此時馬占山亦來到前方，在距大黑河約2000米的橋梁附近督戰。原來上午11時許，敵在東大黑河先用炮火和重機槍把我第一線守兵壓制得不敢擡頭，遂即實行強渡。适馬占山來到前方督戰，見呂旅長已退到橋梁附近，便說，李司令在前方還沒有下來，你們不能退，趕快實行反攻。
在馬占山嚴厲督促下，呂旅長又和敵軍對峙了兩三個小時。在西大黑河和國民兵對峙之敵，幾次渡河均被我守軍擊退，因擊傷而溺斃的不下二百人。最後敵繞道由東大黑河渡過，向西大黑河孟文仲旅的後方迂回包圍。這時東大黑河的呂存義部已全部垮下來了，守西大黑河的孟旅，受敵前後夾擊，損失很大。最左翼東面一個營損失已達三分之二，傷亡三四百人。
李看情勢異常嚴重，急令向歸綏城防撤退。在撤退時亦受到敵炮火阻擊，損失相當嚴重。沿平綏路向旗下營進攻的敵軍，于29日早開始猛烈攻擊。劉桂五部竭力抵抗，直到中午敵仍無進展。午後2時許，敵由陣地左翼爬山迂回，鉗制了整個陣地，使我後方交通聯絡以及指揮都受到嚴重威脅。同時正面之敵又實行猛攻，陣地左翼一部分被敵突破。支援到黃昏，劉桂五部也開始向歸綏撤退。
29日午後1時許，馬占山估計井得泉部将到達壩口子，遂帶特務營到壩口子迎接井團。馬臨走前和李計議，打算帶井團和特務營突然襲擊直撲歸綏之敵的側後方。馬于午後3時許到壩口子，适值蒙僞軍的先頭部隊亦進至壩口子。馬即派特務營長張榮新前去接頭，結果得知對方不是井得泉部而是蒙僞軍第九師。張看情形不對立即跑回報告。
此時敵先頭部隊約一個團已進入壩口子村，和馬的特務營幾乎混在一起，雙方立即開火，一時人仰馬翻，混戰一場。馬隻帶幾名衛土，被敵六七十人圍困在小院裡，激戰有1小時之久。正在危急之際，特務營排長帶30多人來援救。又混戰有兩小時，馬派人大嚷騎六師來增援了，敵人一時被唬住，停止了射擊，馬立即乘機帶特務營撤回歸綏。這場戰鬥我方傷亡六七十人。
30日早晨，敵軍東、南、北三路都開始向歸綏進迫，到中午即全面展開攻擊。午後3時許，戰鬥非常激烈，城防工事多被破壞。我炮兵勢劣。我守兵在敵未突擊前，隻有隐蔽待機。歸綏城防原來雖已修築，但沒有完成，而新舊兩城中間工事又非常薄弱(兩城中間有2華裡）。
午後5時許，南路日軍由新舊兩城中間突入賽馬場地帶，隔開了新舊兩城。李和馬占山認為當天晚上敵軍不會有什麼發展，因日軍仗恃裝備優越，戰鬥力強，不會和我們夜戰；又加地理不熟，更不敢輕易行動。據此我們決定抽派四個連，分為兩部分，由晚11時開始，第一部分以一個連向東、一個連向南騷擾敵人，到淩晨兩點回來；第二部分的兩個連由早3點出動。
仍分東、南兩面出擊，并以一部由西迂回專襲擊敵之炮兵陣地，如此使敵整夜不得休息，打破他們明天的攻擊計劃，最低限度也可遲滞他們明天的攻擊行動。于是我們決定由第一、第五兩團各抽調兩連出擊。出擊的結果使敵倉皇應戰，徹夜不安，我占領了敵炮兵陣地，卻因炮是由汽車牽引，無法推動，又沒有破壞工具，最後僅把幾十發炮彈抛進水溝裡。
10月1日，直到過午，東、南、北各路敵軍又開始進攻。午後4時許，南茶坊一帶被日軍突入，幾乎形成巷戰。但日軍避免和我們巷戰，突入南茶坊後，即和我守軍對峙，并不前進。此時李和馬占山、劉桂五等研究，認為現在情勢已極為嚴重，今晚如不設法退走，明天敵人如四面合圍，我們隻有被繳械或被殲滅。趁現在西面還沒有被圍。
台閣木車站又停有我們的列車，于今晚黃昏後抽派一部分兵力對敵實行夜襲，借以掩護大部隊退卻，到台閣木車站上車，明早即可到達標頭。晚6時許敵即停止進攻，大概敵為防止我們夜襲，早作準備。晚9時許，我們一面夜襲，一面開始撤退。2日早4時前後，所有部隊到達台閣木車站均乘火車西進。7時前後，即全部到達標頭。