1929年9月初，紅四軍第五、六縱隊與湘鄂贛邊紅軍支隊會合，重新組成第五軍。彭德懷任軍長，滕代遠為政委，黃公略為副軍長，鄧萍為參謀長。當時紅5軍下轄5個縱隊，總兵力數千人。按當時紅軍的規模來說，一個軍有數千人的兵力已經不算少了，但紅5軍的槍支彈藥卻嚴重不足，重機槍就更少了，部隊的戰鬥力是以受到了不小的影響。
為了增強部隊的火力，彭德懷和滕代遠等人想了許多辦法，試圖在戰場上繳獲敵人的重機槍。但打了好幾仗，都隻繳獲了一些步槍，重機槍一挺也沒有搞到。就在彭德懷為此發愁的時候，一個國軍排長帶着兩挺重機槍投奔了紅5軍。彭德懷得知這個消息後十分高興，親自接見了這個排長，并以這兩挺重機槍為基礎組建了軍部直屬的機槍大隊。
那麼這個雪中送炭的國軍排長是誰呢？他就是葉樟根。葉樟根是浙江開化人，父母以種田為生，家境十分貧困。為了謀生，葉樟根四處打零工，後來當了一名挑夫。1926年，23歲的葉樟根來到廣東韶光，參加了國民革命軍，在譚延闿的第二軍第5師13團機槍連當了一名士兵。當時正值國共合作時期，不少共産黨員在第五師擔任黨代表，葉樟根跟着部隊北伐，期間接受了進步思想。
由于機槍打得好，葉樟根深得連長張志平的信任，被提升為副班長。張志平是高小畢業，有一定的文化，他對葉樟根說：“你這個名字不好，我給你改個名字吧，幹脆取個諧音字，叫長庚。‘長庚’是天上的一顆星，太陽剛落山，它就在西邊天上出現，又明又亮，叫做‘長庚星’，你就叫葉長庚吧！”之後葉樟根正式改名為葉長庚。
1928年年底，葉長庚所在的第13團移防到江西吉安。在這裡，葉長庚結識了共産黨員趙拓，并成了他的秘密聯絡員。在之後将近一年的時間中，葉長庚多次和趙拓在吉安後街上的一個小飯館裡秘密會面，傳遞出了不少有價值的情報。同時葉長庚還在連裡秘密聯系了一些志同道合的人，準備在合适的時機投奔紅軍。
1929年12月上旬，第13團被派到孤江邊附近和紅軍作戰。時任排長的葉長庚奉命帶領兩個班22個人擔任前衛搜尋任務，他乘機率部投奔了紅5軍。葉長庚帶來了兩挺重機槍和8支步槍，這對重武器十分缺乏的紅軍來說，無疑是十分珍貴的禮物，他也是以受到了軍長彭德懷的親自接見。之後葉長庚跟着紅軍南征北戰，立下了不少戰功，1932年6月他升任紅12師師長。
之後葉長庚參加了多次反圍剿作戰和長征。抗日戰争全面爆發後，他進入八路軍晉察冀軍區任職，擔任第4軍分區副司令員兼參謀長，率部多次和日僞軍血戰，受傷十餘次，左手拇指因傷勢嚴重留下了終身殘疾。從加入紅軍開始，葉長庚一直在第一線戰鬥，多次負傷。由于戰鬥緊張，這些傷勢沒能徹底痊愈。解放戰争期間，這些舊傷經常複發，葉長庚不得不離開前線治療，這在一定程度上影響了他在戰場上的表現和晉升。
直到1948年11月，葉長庚才升任50軍第一副軍長。要知道，早在1932年6月的時候，他就是紅軍主力師的師長了。也就是說，革命16年後，他才僅僅升了半級。葉長庚這種情況，在紅軍進階将領中是非常少見的。1955年大授銜的時候，面對這位革命16年僅升了半級的老紅軍，負責軍銜評定工作的羅榮桓犯了難。最後他親自找到葉長庚，征求他本人的意見。葉長庚當場表态，授什麼軍銜自己都能接受，最終他被授予少将軍銜，并獲得三枚一級勳
章。