1945年，日军虽然宣布了无条件投降，但还是不愿意放弃中国这块大肉，为了能够完成“卷土重来”的计划，他们暗中在山西留下了一支日军部队。
阎锡山
这个地方是
国民政府官员
的地盘，作为一个不折不扣的“亲日派”，阎锡山为了使这些日军能够自愿留下，甚至抛弃了中国人应有的骨气和尊严，给予了日军丰厚的待遇。
1948年，晋中战役打响，解放军剑指山西，打算一举将日军的残余部队消灭，身为司令员的徐向前，在战前会议上大骂阎锡山的叛国行径，并做出了
“坚决消灭！”
的指示。
那么，
日军残余部队最终结局如何？
日军投降签字仪式
1945年，日军虽然宣布了投降，但其内心依旧不服气，想要借机留在中国，以求东山再起，为了实现这个计划，
日本驻中国侵略军的总司令冈村宁次，向中国陆军总司令何应钦提出了一个建议，他说：
“中日已战火停歇，国军现在最大的威胁是共军，华中长江与黄河尚有30万日军，本人建议暂不缴械，本人可以留在中国率领这些日军，在贵司令的指挥下，帮助你们围剿共军。”
当何应钦将日军的要求告知蒋介石时，蒋介石气的大拍桌子，并明确地表示：“国共两党虽有仇，但我们与日军的仇更大，娘希匹！让日军赶紧从我中华土地上消失！”
就这样，国民政府严肃地拒绝了日军的合作请求，在这样的形势下，摆在日军面前的只有两条路可走：第一，放下武器归降回国；第二，暗中潜藏在中国，等待东山再起的时机。
大多数日军都选择了第一条路，老老实实的归降回国，但驻山西的日军却选择了第二条路，将军队驻扎到了山西。看到这里，许多人会有一个疑惑，既然国共两党都不愿意和日军合作，那
日军是怎么隐藏在山西的？
说到这里，便不得不提起一个亲日派的国民政府官员—
。
阎锡山是山西太原的绥靖公署主任，总揽着山西的军政大权，在抗日战争期间，他常常“见风使舵”，游走国民党、共产党、日本三方势力中，也因此阎锡山将自己戏称为“可以在国共日三个鸡蛋上跳舞。”
在抗日战争的前期阶段，阎锡山虽然与日军亲近，却还是保持了观望的态度，经验老道的他认为，日军想要攻破中国，占领中国的土地并不容易。在阎锡山的争取下，1941年，他与日军达成了“汾阳协定”，即晋绥军和日军保持停战状态，互不侵犯。
这年的12月份，太平洋战争爆发，随即美国便宣布对日开战，美国的加入使二战的战局产生了转折性的改变，世界各国都掀起了“反法西斯主义”的浪潮。在这样的背景下，阎锡山自动忽略了与日军达成的“汾阳协定”，假装为了民族大义，对日军频频发起进攻。
日军的高层曾对阎锡山的行为分析道：“阎为避我军之锋锐,既与蒋介石相通, 又装作与我合作,且利用我方不能实行的合作条件使交涉拖延,行缓兵之计,以维护自己。”
纵使识破了阎锡山的阴谋，日军也不曾放弃继续与阎锡山勾搭，就这样，在抗日的整个期间，以阎锡山为首的晋军高层，一直游走在中日之间的灰色地带。
到了1945年，中日战场的形势发生了重大的转变，驻山西的部分日军高层，纷纷开始考虑战后的出路，日军驻山西的司令澄田睐四郎对自己部下说：
“可以争取与阎锡山合作，我们潜伏在山西以求东山再起，好过上军事法庭接受审判。”
在这之后，日军高层开始频频与阎锡山进行会谈，试图劝服阎锡山，
日伪山西政府的顾问
城野宏
对阎锡山说：“我方希望能把驻山西日军的武力，寄存于中国。”
阎锡山听了城野宏的建议后，心中欣喜不已，他告诉城野宏，自己早就与贵军有合作的意向了，希望贵军能够留下，与自己共谋大业。
阎锡山之所以会同意日军的这个阴谋，是想借助日军的兵力，在战后恢复军阀统治，于是，阎锡山与驻山西日军打着各自的小算盘，达成了合作。
这年的9月初，阎日双方正式在太原开展了关于日军残留问题的谈判，此次谈判没有任何的翻译人员参加，是在极为机密的情况下进行的，从每天的深夜12点开始到次日的凌晨4点结束，一直持续了五天的时间，双方一致达成了以下的几点协议：
一、日军编为部队，置于阎锡山的指挥之下；
二、对于留用的日本军人，阎锡山要在原有的级别上再提三级......
为了将日军留在山西，阎锡山可谓是无所不用其极，除了上述的协议要求外，他还给日军提供生活上的各种优厚待遇，给他们单独安排了干净的新房。
由此可见，此时的阎锡山已经全然抛弃了尊严，让人不禁感到悲哀、愤怒，对于我们来说，这无疑是一种耻辱。
日军投降签字
在日军正式投降后，国共两党进入到了对峙期间，此时的阎锡山与日军达成了一项协议，即：如果共产党的大军前来接收太原，日阎两军应共同合作，负责堵击。
后来，阎锡山趁着国共重庆谈判期间，带领着阎日两军大肆进攻上党地区，然而，由于共产党提前做好了防备，阎锡山的大军以失败告终了。
不甘失败的阎锡山，在未来的几年内，多次与解放军交战，他丝毫不掩饰自己的野心和所拥有的日军部队，在一次作战中，日军将领竟在光天化日之下拿着日本军旗插在战场上，嚣张至极。
阎锡山的叛国行为注定不会得到好下场，他的好日子很快便到头了，1948年6月，中国人民解放军打响了晋中战役，在战前的会议上，司令员徐向前说道：
“早就看阎锡山不顺眼了，他这个亲日的叛徒，必须要坚决消灭！”
另一边的阎锡山对军中下命令道：
“保卫晋中、固守太原”
，此时的阎锡山自是不愿意撤退的，他在山西称王了几十年，人送外号“山西王”，他不愿放弃自己多年的独裁统治，还做着占地为王的美梦，丝毫没有意识到接下来的危机。
随后，阎日两军集结到一起，奔赴到作战的前线，决定与解放军决一死战，令阎锡山没想到的是，在这场战役中，阎日两军被解放军打的节节败退，根本无任何的还手之力，这让身处在太原的阎锡山感到很是无力，在这段时间，阎锡山常常梦中惊起，连觉都没睡好过。
日本陆军少将：元泉馨
这年的7月份，阎军的总司令赵承綬被俘，副司令元泉馨留下自己的部队，仓促钻到了高粱地里逃跑，但
我军秉承着司令员徐向前“坚决消灭”的指示，不放过任何一个漏网之鱼。
在大肆搜捕了几天后，元泉馨在小常村被我军发现，我军随即便对他展开了炮轰攻击，为了确保元泉馨命丧黄泉，为首的指挥，又让部下补上了好几枪，就此了解了元泉馨的生命，元泉馨是这次战役中丧命的高级日本将领。
除此之外，原日军的炮兵大队长，炮兵训练团少将总教官都丧命于这场战役中，他们的死亡给“残留日军”带来了重大的打击，在这之后，这些日军的军心溃散、士气大减，我军一鼓作气，对敌人展开了激烈的进攻，成功使晋中地区解放。
在这之后，太原成为了一座孤城，阎锡山想要当军阀的梦想、残留日军卷土重来的计划就此破灭。
在这样情况下，阎锡山依旧负隅顽抗，为了能够守住太原城，获得胜利，他甚至违反了国际法，
在太原的作战中允许军队使用
毒气弹
10月5日，太原战役就此打响，日军教导总队司令今村方策，在东山的一次作战中，指挥士兵发射“联二苯”毒气弹，没有防备的解放军，不小心吸入了毒气，行动就此受缓，就在这时，日军对我军进行了扫射射击，一些受毒气影响的解放军根本来不及反应便牺牲了，使解放军战士造成了大量的伤亡。
后来，曾任日伪山西政府的顾问
说起了这段往事，他说：
“仅仅在牛驼寨前，就杀害了1600余名解放军战士......并且在东山一带，阎日两军共杀害了16000人。”
由此可见，解放军在太原战役中的伤亡是有多么的惨重。
徐向前
可纵使有着再多的伤亡，解放军也不曾退缩过，因为他们要消灭的对象不止有阎锡山的反动军，还有着更为可恨的日本残留军，司令员徐向前常常会对自己的部下说：
“我们不能忘记南京大屠杀，不能忘记日军带给我们的耻辱，我们与他们是死敌，他们如今胆敢留在中国，就要做好被我们消灭的准备！”
1949年1月，平津战役胜利，我军解放了北平、天津等多个华北地区城市，身在太原的阎锡山感到大事不妙，对打败解放军不抱任何的期望了，他无时不刻都在担忧着解放军会攻入太原城，将他一举拿下。
于是，在这种害怕的情绪下，阎锡山决定逃跑，在逃跑前，阎锡山为了稳定残余的日军势力，对日军的高级军官信誓旦旦的保证道：
“我誓死与太原共存亡，你们放心好了，我不会不管你们的。”
就这样，残余日军势力信了阎锡山的鬼话，依旧为他继续卖命，和解放军厮杀在前线的战场上，而阎锡山则在这年的2月份，乘坐飞机逃往了南京，将自己的同盟丢弃在了太原。
1949年4月20日，解放军向太原发起了总攻，这次围城的解放军部队从之前的十多万人，增加到了三十多万人，城内的一些日军自知打不过解放军，便开始了潜逃行动，比如炮兵总指挥岩田清一，他于21日晚换了一身衣服，打算从城东南的双塔寺潜逃，但我军早已对太原形成了包围之势，他在出逃不久后，便被我军给生擒了。
这年的4月24日，太原解放，解放军进驻到太原城内，所有的残留日军和阎锡山的大军，都成为了我军的俘虏，总数六七百人，其余的阎、日士兵，都在战争中被我军给击杀了，其中，
教导总队司令今村方策
，由于害怕军事法庭的制裁，被俘后服用了氰化钾自杀了。
后来，赵永强先生在
《战后日军“残留”山西的历史与现实》
一文中谈起了残留日军的结局，他在文中写道：
1956年，日本国会通过了一项决议，他们认为，这些归国的残留日军属于“开小差”的行为，不能给予他们军人的待遇。就这样，这些归国的残留日军，不得不重新谋求一份新的工作，不少人都挣扎在温饱线上，贫困潦倒。