提起第29軍，人們不由想起長城抗戰中的《大刀進行曲》，不由想起盧溝橋事變時打響的全面抗戰第一槍，正是這支部隊在全面抗戰爆發前苦撐華北危局，在平津地區與日僞勢力對峙周旋，才避免華北變成第二個“滿洲國”。
但這支功勳卓著、戰力強悍的部隊，實際上卻是由西北軍的幾支殘兵拼湊而成。1930年下半年，馮玉祥統率的30萬西北軍在中原混戰中土崩瓦解，大部分倒戈投降蔣介石或被消滅收編，僅有張自忠、劉汝明、趙登禹等少數将領各率所部退入晉南，暫時栖身于“山西王”閻錫山麾下。
中原大戰後，率部出關助戰有功的少帥張學良被任命為全國陸海空三軍副總司令，并得到了對北方反蔣派部隊受降和改編的大權。在張學良的保護下，西北軍在晉南的數萬殘兵得以儲存，并于1931年1月改編為東北邊防軍第3軍，6月改番号為國民革命軍第29軍。
在改編前，該軍軍長一職由誰擔任曾經有過争議，如果按照軍閥混戰期間“有槍就是草頭王”的慣例，這軍長一職應屬張自忠莫屬。
其一，各路殘軍中，張自忠實力最強。
中原大戰期間，張自忠的第6師除了配屬友軍的第17旅被裹挾投蔣外，第15旅、第16旅及手槍團大部共5千人馬，都随張自忠突圍而出，是西北軍殘部中儲存最完整的部隊，也是兵力最多、裝備最好的部隊。
其二，張自忠得到中下級官兵擁護。
張曾擔任過西北軍學兵團團長、軍官學校校長，教人以盡忠報國、守法愛民及忍苦耐勞!而教授方法，系律己以教人，凡須下級遵守者，必己身先遵守實行之”，加上其一向潔身自好，“對于軍需開支尤為謹嚴”，是以得到多數基層官兵擁護。
其三，張自忠為人豪爽俠義。
有人經常以嶽飛與張比較，稱其“體魄堅實，顧視有成，口輔之紋甚深，為富有決斷之特征;性格豪邁，富于燕冀遊俠精神，慷慨結交，不因有地位而驕人，故為其友者，一經相識，即感其相特之厚，願為之用，複具有豁達大度之領袖性格”。
其四，張自忠得到了蔣介石等人支援。
在中原大戰的敗局中，張自忠的部隊沒有潰散、沒有倒戈，顯示了極高的能力。加上上述原因，張學良曾計劃讓張自忠擔任軍長，“預備把晉南所有西北軍的殘局交給張自忠來收拾”；蔣介石最初也企圖讓他收編西北軍殘餘部隊到江西去“剿共”。
雖然張自忠具有足夠的實力争奪軍長之位，但他也有明顯劣勢，就是入西北軍的時間晚，資曆也淺。後來擔任第29軍副軍長的劉汝明就說:張“雖然比我大一兩歲，但在當時還純然是後起之秀”幸運的是，張自忠從整個西北軍的大局出發，“不以個人利害而不顧大義”，極力推薦了資格更老、職位更高的宋哲元來統率西北軍殘部。
當時，宋哲元剛剛逃回晉南，身邊僅剩兩個警衛，幾乎是光杆司令。但他具有張自忠等人不可比拟的優勢。
資曆老。
宋自光緒年間就從軍入伍，長期跟随馮玉祥東征西讨，馮在辛亥革命爆發第二年升任混成旅旅長時，宋哲元早已是其麾下的副營長，後來長期獨當一面，擔任熱河都統、駐甯（夏）軍總司令、陝西省主席等職，同時，他也是當時晉南殘軍中唯一的一位上将。
威望高
。與劉汝明等老資格動辄可以輕視的張自忠不同，宋哲元是西北軍早期的五虎上将之一(另四虎是鹿鐘麟、張之江、李鳴鐘、劉郁芬)，中原大戰前曾一度代理西北軍即第二集團軍總司令職務，晉南各路殘軍将領幾乎都曾是其舊部。同時，宋哲元為人坦誠開朗，處事公道，也是西北軍中公認的忠厚長者。
最終，宋哲元在部隊整編後擔任了軍長，劉汝明、秦德純任副軍長，張維藩任參謀長，蕭振瀛為總參議，張自忠、馮治安為師長，趙登禹為旅長。但29軍明确規定這8人為上司核心，“凡事八人共議，謀定而後動”。