1945年，日軍雖然宣布了無條件投降，但還是不願意放棄中國這塊大肉，為了能夠完成“卷土重來”的計劃，他們暗中在山西留下了一支日軍部隊。
閻錫山
這個地方是
國民政府官員
的地盤，作為一個不折不扣的“親日派”，閻錫山為了使這些日軍能夠自願留下，甚至抛棄了中國人應有的骨氣和尊嚴，給予了日軍豐厚的待遇。
1948年，晉中戰役打響，解放軍劍指山西，打算一舉将日軍的殘餘部隊消滅，身為司令員的徐向前，在戰前會議上大罵閻錫山的叛國行徑，并做出了
“堅決消滅！”
的訓示。
那麼，
日軍殘餘部隊最終結局如何？
日軍投降簽字儀式
1945年，日軍雖然宣布了投降，但其内心依舊不服氣，想要借機留在中國，以求東山再起，為了實作這個計劃，
日本駐中國侵略軍的總司令岡村甯次，向中國陸軍總司令何應欽提出了一個建議，他說：
“中日已戰火停歇，國軍現在最大的威脅是共軍，華中長江與黃河尚有30萬日軍，本人建議暫不繳械，本人可以留在中國率領這些日軍，在貴司令的指揮下，幫助你們圍剿共軍。”
當何應欽将日軍的要求告知蔣介石時，蔣介石氣的大拍桌子，并明确地表示：“國共兩黨雖有仇，但我們與日軍的仇更大，娘希匹！讓日軍趕緊從我中華土地上消失！”
就這樣，國民政府嚴肅地拒絕了日軍的合作請求，在這樣的形勢下，擺在日軍面前的隻有兩條路可走：第一，放下武器歸降回國；第二，暗中潛藏在中國，等待東山再起的時機。
大多數日軍都選擇了第一條路，老老實實的歸降回國，但駐山西的日軍卻選擇了第二條路，将軍隊駐紮到了山西。看到這裡，許多人會有一個疑惑，既然國共兩黨都不願意和日軍合作，那
日軍是怎麼隐藏在山西的？
說到這裡，便不得不提起一個親日派的國民政府官員—
。
閻錫山是山西太原的綏靖公署主任，總攬着山西的軍政大權，在抗日戰争期間，他常常“見風使舵”，遊走國民黨、共産黨、日本三方勢力中，也是以閻錫山将自己戲稱為“可以在國共日三個雞蛋上跳舞。”
在抗日戰争的前期階段，閻錫山雖然與日軍親近，卻還是保持了觀望的态度，經驗老道的他認為，日軍想要攻破中國，占領中國的土地并不容易。在閻錫山的争取下，1941年，他與日軍達成了“汾陽協定”，即晉綏軍和日軍保持停戰狀态，互不侵犯。
這年的12月份，太平洋戰争爆發，随即美國便宣布對日開戰，美國的加入使二戰的戰局産生了轉折性的改變，世界各國都掀起了“反法西斯主義”的浪潮。在這樣的背景下，閻錫山自動忽略了與日軍達成的“汾陽協定”，假裝為了民族大義，對日軍頻頻發起進攻。
日軍的高層曾對閻錫山的行為分析道：“閻為避我軍之鋒銳,既與蔣介石相通, 又裝作與我合作,且利用我方不能實行的合作條件使交涉拖延,行緩兵之計,以維護自己。”
縱使識破了閻錫山的陰謀，日軍也不曾放棄繼續與閻錫山勾搭，就這樣，在抗日的整個期間，以閻錫山為首的晉軍高層，一直遊走在中日之間的灰色地帶。
到了1945年，中日戰場的形勢發生了重大的轉變，駐山西的部分日軍高層，紛紛開始考慮戰後的出路，日軍駐山西的司令澄田睐四郎對自己部下說：
“可以争取與閻錫山合作，我們潛伏在山西以求東山再起，好過上軍事法庭接受審判。”
在這之後，日軍高層開始頻頻與閻錫山進行會談，試圖勸服閻錫山，
日僞山西政府的顧問
城野宏
對閻錫山說：“我方希望能把駐山西日軍的武力，寄存于中國。”
閻錫山聽了城野宏的建議後，心中欣喜不已，他告訴城野宏，自己早就與貴軍有合作的意向了，希望貴軍能夠留下，與自己共謀大業。
閻錫山之是以會同意日軍的這個陰謀，是想借助日軍的兵力，在戰後恢複軍閥統治，于是，閻錫山與駐山西日軍打着各自的小算盤，達成了合作。
這年的9月初，閻日雙方正式在太原開展了關于日軍殘留問題的談判，此次談判沒有任何的翻譯人員參加，是在極為機密的情況下進行的，從每天的深夜12點開始到次日的淩晨4點結束，一直持續了五天的時間，雙方一緻達成了以下的幾點協定：
一、日軍編為部隊，置于閻錫山的指揮之下；
二、對于留用的日本軍人，閻錫山要在原有的級别上再提三級......
為了将日軍留在山西，閻錫山可謂是無所不用其極，除了上述的協定要求外，他還給日軍提供生活上的各種優厚待遇，給他們單獨安排了幹淨的新房。
由此可見，此時的閻錫山已經全然抛棄了尊嚴，讓人不禁感到悲哀、憤怒，對于我們來說，這無疑是一種恥辱。
日軍投降簽字
在日軍正式投降後，國共兩黨進入到了對峙期間，此時的閻錫山與日軍達成了一項協定，即：如果共産黨的大軍前來接收太原，日閻兩軍應共同合作，負責堵擊。
後來，閻錫山趁着國共重慶談判期間，帶領着閻日兩軍大肆進攻上黨地區，然而，由于共産黨提前做好了防備，閻錫山的大軍以失敗告終了。
不甘失敗的閻錫山，在未來的幾年内，多次與解放軍交戰，他絲毫不掩飾自己的野心和所擁有的日軍部隊，在一次作戰中，日軍将領竟在光天化日之下拿着日本軍旗插在戰場上，嚣張至極。
閻錫山的叛國行為注定不會得到好下場，他的好日子很快便到頭了，1948年6月，中國人民解放軍打響了晉中戰役，在戰前的會議上，司令員徐向前說道：
“早就看閻錫山不順眼了，他這個親日的叛徒，必須要堅決消滅！”
另一邊的閻錫山對軍中下指令道：
“保衛晉中、固守太原”
，此時的閻錫山自是不願意撤退的，他在山西稱王了幾十年，人送外号“山西王”，他不願放棄自己多年的獨裁統治，還做着占地為王的美夢，絲毫沒有意識到接下來的危機。
随後，閻日兩軍集結到一起，奔赴到作戰的前線，決定與解放軍決一死戰，令閻錫山沒想到的是，在這場戰役中，閻日兩軍被解放軍打的節節敗退，根本無任何的還手之力，這讓身處在太原的閻錫山感到很是無力，在這段時間，閻錫山常常夢中驚起，連覺都沒睡好過。
日本陸軍少将：元泉馨
這年的7月份，閻軍的總司令趙承綬被俘，副司令元泉馨留下自己的部隊，倉促鑽到了高粱地裡逃跑，但
我軍秉承着司令員徐向前“堅決消滅”的訓示，不放過任何一個漏網之魚。
在大肆搜捕了幾天後，元泉馨在小常村被我軍發現，我軍随即便對他展開了炮轟攻擊，為了確定元泉馨命喪黃泉，為首的指揮，又讓部下補上了好幾槍，就此了解了元泉馨的生命，元泉馨是這次戰役中喪命的進階日本将領。
除此之外，原日軍的炮兵大隊長，炮兵訓練團少将總教官都喪命于這場戰役中，他們的死亡給“殘留日軍”帶來了重大的打擊，在這之後，這些日軍的軍心潰散、士氣大減，我軍一鼓作氣，對敵人展開了激烈的進攻，成功使晉中地區解放。
在這之後，太原成為了一座孤城，閻錫山想要當軍閥的夢想、殘留日軍卷土重來的計劃就此破滅。
在這樣情況下，閻錫山依舊負隅頑抗，為了能夠守住太原城，獲得勝利，他甚至違反了國際法，
在太原的作戰中允許軍隊使用
毒氣彈
10月5日，太原戰役就此打響，日軍教導總隊司令今村方策，在東山的一次作戰中，指揮士兵發射“聯二苯”毒氣彈，沒有防備的解放軍，不小心吸入了毒氣，行動就此受緩，就在這時，日軍對我軍進行了掃射射擊，一些受毒氣影響的解放軍根本來不及反應便犧牲了，使解放軍戰士造成了大量的傷亡。
後來，曾任日僞山西政府的顧問
說起了這段往事，他說：
“僅僅在牛駝寨前，就殺害了1600餘名解放軍戰士......并且在東山一帶，閻日兩軍共殺害了16000人。”
由此可見，解放軍在太原戰役中的傷亡是有多麼的慘重。
徐向前
可縱使有着再多的傷亡，解放軍也不曾退縮過，因為他們要消滅的對象不止有閻錫山的反動軍，還有着更為可恨的日本殘留軍，司令員徐向前常常會對自己的部下說：
“我們不能忘記南京大屠殺，不能忘記日軍帶給我們的恥辱，我們與他們是死敵，他們如今膽敢留在中國，就要做好被我們消滅的準備！”
1949年1月，平津戰役勝利，我軍解放了北平、天津等多個華北地區城市，身在太原的閻錫山感到大事不妙，對打敗解放軍不抱任何的期望了，他無時不刻都在擔憂着解放軍會攻入太原城，将他一舉拿下。
于是，在這種害怕的情緒下，閻錫山決定逃跑，在逃跑前，閻錫山為了穩定殘餘的日軍勢力，對日軍的進階軍官信誓旦旦的保證道：
“我誓死與太原共存亡，你們放心好了，我不會不管你們的。”
就這樣，殘餘日軍勢力信了閻錫山的鬼話，依舊為他繼續賣命，和解放軍厮殺在前線的戰場上，而閻錫山則在這年的2月份，乘坐飛機逃往了南京，将自己的同盟丢棄在了太原。
1949年4月20日，解放軍向太原發起了總攻，這次圍城的解放軍部隊從之前的十多萬人，增加到了三十多萬人，城内的一些日軍自知打不過解放軍，便開始了潛逃行動，比如炮兵總指揮岩田清一，他于21日晚換了一身衣服，打算從城東南的雙塔寺潛逃，但我軍早已對太原形成了包圍之勢，他在出逃不久後，便被我軍給生擒了。
這年的4月24日，太原解放，解放軍進駐到太原城内，所有的殘留日軍和閻錫山的大軍，都成為了我軍的俘虜，總數六七百人，其餘的閻、日士兵，都在戰争中被我軍給擊殺了，其中，
教導總隊司令今村方策
，由于害怕軍事法庭的制裁，被俘後服用了氰化鉀自殺了。
後來，趙永強先生在
《戰後日軍“殘留”山西的曆史與現實》
一文中談起了殘留日軍的結局，他在文中寫道：
1956年，日本國會通過了一項決議，他們認為，這些歸國的殘留日軍屬于“開小差”的行為，不能給予他們軍人的待遇。就這樣，這些歸國的殘留日軍，不得不重新謀求一份新的工作，不少人都掙紮在溫飽線上，貧困潦倒。