提起第29军，人们不由想起长城抗战中的《大刀进行曲》，不由想起卢沟桥事变时打响的全面抗战第一枪，正是这支部队在全面抗战爆发前苦撑华北危局，在平津地区与日伪势力对峙周旋，才避免华北变成第二个“满洲国”。
但这支功勋卓著、战力强悍的部队，实际上却是由西北军的几支残兵拼凑而成。1930年下半年，冯玉祥统率的30万西北军在中原混战中土崩瓦解，大部分倒戈投降蒋介石或被消灭收编，仅有张自忠、刘汝明、赵登禹等少数将领各率所部退入晋南，暂时栖身于“山西王”阎锡山麾下。
中原大战后，率部出关助战有功的少帅张学良被任命为全国陆海空三军副总司令，并得到了对北方反蒋派部队受降和改编的大权。在张学良的保护下，西北军在晋南的数万残兵得以保存，并于1931年1月改编为东北边防军第3军，6月改番号为国民革命军第29军。
在改编前，该军军长一职由谁担任曾经有过争议，如果按照军阀混战期间“有枪就是草头王”的惯例，这军长一职应属张自忠莫属。
其一，各路残军中，张自忠实力最强。
中原大战期间，张自忠的第6师除了配属友军的第17旅被裹挟投蒋外，第15旅、第16旅及手枪团大部共5千人马，都随张自忠突围而出，是西北军残部中保存最完整的部队，也是兵力最多、装备最好的部队。
其二，张自忠得到中下级官兵拥护。
张曾担任过西北军学兵团团长、军官学校校长，教人以尽忠报国、守法爱民及忍苦耐劳!而教授方法，系律己以教人，凡须下级遵守者，必己身先遵守实行之”，加上其一向洁身自好，“对于军需开支尤为谨严”，因此得到多数基层官兵拥护。
其三，张自忠为人豪爽侠义。
有人经常以岳飞与张比较，称其“体魄坚实，顾视有成，口辅之纹甚深，为富有决断之特征;性格豪迈，富于燕冀游侠精神，慷慨结交，不因有地位而骄人，故为其友者，一经相识，即感其相特之厚，愿为之用，复具有豁达大度之领袖性格”。
其四，张自忠得到了蒋介石等人支持。
在中原大战的败局中，张自忠的部队没有溃散、没有倒戈，显示了极高的能力。加上上述原因，张学良曾计划让张自忠担任军长，“预备把晋南所有西北军的残局交给张自忠来收拾”；蒋介石最初也企图让他收编西北军残余部队到江西去“剿共”。
虽然张自忠具有足够的实力争夺军长之位，但他也有明显劣势，就是入西北军的时间晚，资历也浅。后来担任第29军副军长的刘汝明就说:张“虽然比我大一两岁，但在当时还纯然是后起之秀”幸运的是，张自忠从整个西北军的大局出发，“不以个人利害而不顾大义”，极力推荐了资格更老、职位更高的宋哲元来统率西北军残部。
当时，宋哲元刚刚逃回晋南，身边仅剩两个警卫，几乎是光杆司令。但他具有张自忠等人不可比拟的优势。
资历老。
宋自光绪年间就从军入伍，长期跟随冯玉祥东征西讨，冯在辛亥革命爆发第二年升任混成旅旅长时，宋哲元早已是其麾下的副营长，后来长期独当一面，担任热河都统、驻宁（夏）军总司令、陕西省主席等职，同时，他也是当时晋南残军中唯一的一位上将。
威望高
。与刘汝明等老资格动辄可以轻视的张自忠不同，宋哲元是西北军早期的五虎上将之一(另四虎是鹿钟麟、张之江、李鸣钟、刘郁芬)，中原大战前曾一度代理西北军即第二集团军总司令职务，晋南各路残军将领几乎都曾是其旧部。同时，宋哲元为人坦诚开朗，处事公道，也是西北军中公认的忠厚长者。
最终，宋哲元在部队整编后担任了军长，刘汝明、秦德纯任副军长，张维藩任参谋长，萧振瀛为总参议，张自忠、冯治安为师长，赵登禹为旅长。但29军明确规定这8人为领导核心，“凡事八人共议，谋定而后动”。