1930年11月，中原大战的硝烟刚刚散去，在这场战役中，曾经纵横西北大地、拥兵数十万的西北军顷刻间就分崩离析，而作为主心骨的冯玉祥也在蒋介石的逼迫下发表通电，宣布自己下野避世。然而虽然蒋介石逼走了冯玉祥，但为防止西北军卷土重来，于是便命令自己的副总司令张学良亲往北平，全权负责收编西北军残部，乍一听，这可是一个扩充实力的好差事，但面对散落在各地的西北军余部，本来就在后面插过他们一刀的张学良心里也十分清楚，大败而归的西北军就算再落魄也根本不会听从自己的命令，搞不好可能还会发生火拼，于是现如今摆在他面前的只有一条路，那就是尽快地找到一位“三方都认可”的西北军将领出面才能够帮自己完成这个“和平收编西北军”的任务。
抵达北平后，张学良便来到司令部认真考虑起了这个问题， 并认为人选必须符合三个条件：一是必须要在西北军中有群众基础，这样才好控制局面，二是必须要冯玉祥点头，免得以后落人话柄，三是必须要自己信得过的人，不然很有可能以后会倒戈，于是基于在这样的条件下，张学良重点挑选了三个人——孙良诚、刘汝明和宋哲元。
首先是孙良诚，此人是冯玉祥的“五虎将”之一，曾在北伐战争中出任国民联军援陕军总指挥，负责在陕西一带与镇嵩军作战，虽然是西北军中的一员悍将，但却是一个勇而少谋、谋而不决之人，再加上他的嫡系部队基本已经在中原大战里报销，如果自己让这位“光杆司令”贸然出面的话，弄不好效果可能会适得其反，所以孙良诚一出场便被张学良率先给否定了。其次是刘汝明，此人是冯玉祥的“十三太保”之一，曾在“五原誓师”前就崭露头角，与吴佩孚所部血战数月之久，硬是没让其突破一步，最后在完成任务返回五原时，他的部队依旧兵强马壮，这让同僚们都对其刮目相看，但此人最大的“问题”就是资历不够，排在他前面的“老长官”太多，张学良担心他控制不了局面，于是只好放弃刘汝明。
最终在经过深思熟虑后，张学良选择了宋哲元，首先从资历上来说，宋哲元是冯玉祥的“五虎将”之一，属于最嫡系的将领，并且相比较于其他人，他在生活上也颇有冯玉祥的“影子”，能和普通士兵同甘共苦，很得人心，再加上他不贪财，为人十分注重名声，所以张学良更看重宋哲元这个人选。1930年12月24日，张学良召见宋哲元，随后两人开始商议西北军的善后问题，由于是“败军之将”，宋哲元也迫切希望能由自己来“拉回”老大哥冯玉祥的“家底”，于是便欣然接受张学良的任命，开始收编散落在各地的西北军余部。
四个月后，这支“孤军”被张学良和平收编，番号为东北边防军第三军，宋哲元出任军长，秦德纯、刘汝明则担任副军长。1931年6月，宋哲元所部又改番号为国民革命军第二十九军，驻地为晋东南地区，虽然看似有了落脚点，但此地却是属于阎锡山的地盘，于是第二十九军便在这过起了寄人篱下的生活，由于阎锡山和张学良都对其不管不顾，致使军中穷困潦倒，士兵们衣衫褴褛，如同乞丐一般。九一八事变发生后，宋哲元联名其他七位将领通电全国与日作战，表示“宁为战死鬼，不为亡国奴”，随后在张学良的极力推荐下，宋哲元所部移防察哈尔，据说当时在行军的时候由于士兵们都穿着一身破衣烂衫，怕被人当作是土匪，所以宋哲元便选择夜间出发，由此可见，当时的第二十九军虽然在生活上十分窘迫，但他们的骨气同样也令人十分敬佩。
抵达目的地后，宋哲元先是提出了“不打内战、枪口对外”的口号，后又积极整军练兵，准备未来对日作战，而也就是在这之后不到半年的时间里，长城抗战爆发了，第二十九军奔赴前线，并最终在喜峰口战役中一战成名。