抗战胜利之后，关内有100多万日军部队，关外有60多万的关东军成为了苏军的俘虏。这场战争结束后，中国只惩戒了少数罪大恶极的日军战犯，很多的日军战俘都被遣送回国了。
但是在抗战后，国民党军方面为了对付解放军，却收编了一些日军部队，阎锡山更是邀请数百名日军军官担任军事教员，对部队进行日式训练。阎锡山有一支部队就是日军残余势力组成的部队，阎锡山对这些部队很器重，还给他们发了双饷，这些部队后来都被解放军歼灭。当时蒋介石还请日本驻华派遣军司令岗村宁次，当自己的军事顾问，以对付解放军。
其实在解放军中，也收编了一下日军战俘，但是并没有作战部队，主要以卫生，技术人员为主。当时四野内部就有三万日军战俘，这些日军战俘最多的是医护人员，因为当时中国的医疗条件比较落后，严重缺乏医护人员。四野收编的日籍医护人员很多，有七八千人，这些人有着丰富的临床经验，在解放战争期间救治了很多人。东北野战军还把一些医护人员分配到了其他野战军，这在电视剧《亮剑》中就有过类似的事情。
此外，当时东北野战军中还有数千名日本技术人员，主要以军工人员为主。东北在当时是我国最大的重工业基地，虽然苏军把很多的工厂都搬空了，但是四野军工部门把很多日籍技术人员留下来了，一直到建国多年后，鞍山钢铁厂还有很多技术专家是日本人。电视剧《人间正道是沧桑》中，孙红雷扮演的东北野战军特别部部长，让日本工程师研制榴弹炮炮弹，这都是有真实历史背景的。
民国时期，中国的文化普及率很低，文盲率很高，很多的战士没有什么文化，有的一个连找不到一个会写字的，还有的一个团找不到一个见过汽车的。所以当时很多的汽车司机，还有火车司机也都是日籍人员。东北野战军有自己的炮兵学院，炮兵学校的教官很多也都是日本人。
日本关东军101教育飞行团第四连成大队林弥一郎部在日本投降后，遗弃了机场和40多架飞机，向南逃跑。后来东北民主联军派部队前去劝降，共接收林弥一郎飞行大队各式飞机46架及各种器材和配件，此外还有17名飞行员，24名机械师，27名机械员，180多名各类地面保障人员。这些飞机、人员和装备器材，为以后人民空军的建立和发展发挥了很大的作用。林弥一郎还被任命为东北民主联军航空学校的主教官，主要教官也都是以日籍教官为主，解放军中包括王海在内的很多优秀飞行员都是从这所学校出来的。