1929年5月，紅31師師長吳光浩在參與和上司商南起義的途中，在羅田滕家堡，被敵人襲擊，壯烈犧牲。吳光浩犧牲後，中共鄂東北特委向中共中央報告，要求中央派一名懂軍事的幹部接替吳光浩的工作。此時，廣州起義後，率領紅四師在東江打遊擊的徐向前，因部隊被打散，在地下黨的營救下，剛從九龍輾轉到達上海。
時任中央軍委書記的楊殷，便讓他到湖北東北，去紅31師，接替吳光浩的職務。紅31師剛成立時，隻有72人，長槍42支、短槍11支，在吳光浩的上司下，發展到300多人，但除了幹部手裡有駁克槍之類的短槍外，大多數戰士手中拿的，都是獵槍、大刀，梭镖之類的武器，好的步槍，有，但也就幾支，機槍一挺都沒有。吳光浩犧牲後，部隊又遭到敵人多次圍攻，徐向前到來時，僅存100多人。
這樣一支隊伍，怎麼打仗？這是擺在徐向前面前的極大難題。雖然，在廣州起義時，他當過勞工赤衛隊第6聯隊隊長，起義後，部隊在花縣整編為紅四師，他當過紅四師第10團黨代表，紅四師參謀長，紅四師師長，但這些經曆，時間都是極短的，而且，隊伍當時是越打越少，最後都打沒了，現在面對這300人的隊伍，能帶好嗎？
當然能帶好，别忘了，徐向前是黃埔軍校第一期的學生，畢業後留校任排長，在東征作戰中也是立過戰功的。加上廣州起義及之後一年多的艱難曆程，讓他有了帶領弱兵堅持戰鬥的經驗和勇氣。他是1929年6月來到紅31師的，當時的職務是副師長，履行師長職責。不久被正式任命為師長，到1930年3月18日，紅31師改稱為紅1師時，部隊已經有800多人，但類似輕機槍這樣的重武器，一件都沒有。
那時紅軍隊伍，要解決武器裝備問題，必須要多打幾次仗，從敵人手中繳獲。于是，徐向前抓住蔣介石與馮玉祥、閻錫山中原大戰的有利時機，6月，紅一師圍殲川軍郭汝棟部一個團部；7月下旬，全殲錢大鈞部教導三師第五團；8月中旬，與許繼慎率領的第2師、第3師一同擊潰戴民權的一個旅。此後殲滅郭汝棟的一個混成旅。同年12月，徐向前率領部隊在金家寨、麻埠擊敗第46師，殲滅四個旅。
由此，徐向前的威名在紅軍内部和敵人當中廣泛傳開。1931年11月，中國工農紅軍第四方面軍正式成立時，當宣布徐向前任總指揮時，全場官兵和群衆，都激動得淚流滿面，由此可看出，徐向前僅用不到兩年時間，威望提升的是多麼的快！