1937年8月22日，根據國共兩黨在西安事變後達成的兩黨第二次合作協定，國民政府軍事委員會宣布将紅軍主力改編為“國民革命軍第八路軍”。25日，我黨中央釋出指令将工農紅軍第一、第二、第四方面軍和西北紅軍等部改編為“國民革命軍第八路軍”，簡稱八路軍。
八路軍成立後，原定由葉劍英擔任參謀長，左權為副參謀長，然而葉帥此時正在南京擔任我黨駐南京辦事處代表一職，負責協調我黨與國民黨之間的關系，并協助周總理營救被國民黨暗地囚禁的戰友，事務繁忙至極，根本無暇顧及八路軍指揮部的工作。
考慮到這點，故而中央軍委決定讓副參謀長左權暫行參謀長之事，并設前方總指揮部，由左權任前指參謀長，負責八路軍的軍事指揮、協助朱、彭兩位首長工作。
1942年5月，日軍出動大兵團對太行山根據地發起了大規模的進攻，突襲我軍前方總指揮部。為給前指争取轉移的時間，身為參謀長的左權主動要求帶隊斷後。25日，左權在山西遼縣（現左權縣）的十字嶺突圍戰鬥中不幸被日軍炮彈擊中頭部，壯烈犧牲。
左權犧牲後，前方總指揮部參謀長的位置就空了出來。
縱使朱、彭兩位老總因左權将軍的犧牲還處于悲痛之中，但是軍中事務繁忙，總部副參謀長、前方總指揮部參謀長又是軍中最為重要的職務，若長時間沒人接任，軍務必然會被耽擱，是以必須盡快上報黨中央，讓黨中央盡快決定新的參謀長人選。
抗日名将左權将軍
此時，彭老總經過慎重的考慮，向黨中央送出了一份參謀長的人選名單。在這份名單裡，彭老總向中央軍委推薦了三個人選，分别是林彪、葉劍英和滕代遠。
前方總指揮部參謀長這個職務是我軍最為重要的一個職務，關乎着我軍未來的生死存亡，選好了我軍就能走向強盛，遇強則強。反之若選不好我軍可能會在接下來的戰争中因将相不和遭到挫折。
是以，這麼重要的位置可不是随随便便就找一個人來就能擔任的。首先，他必須要有敏銳的戰場嗅覺，能判别出戰場上情報的真假，進而給上級首長提供準确可行的建議；其次要有足夠的魄力和勇氣，能夠在上級首長做出錯誤的決定時，勇敢指出，并加以改正；最後要有足夠的威望，隻有戰士們服他，他才能管理好部隊。
此時，彭老總推薦的三位人選都符合這三個條件，林彪、葉劍英、滕代遠三人在當時都是我最為合适擔任前指參謀長的人選，林彪是打破“日軍不可戰勝”神話的名将，葉劍英則是在北伐戰争就已成名的老将，滕代遠則是工農紅軍早期創始人之一，他們三人都是有資質、能力去上司八路軍的。
在一番斟酌之後，中央軍委最終決定讓滕代遠擔任八路軍副參謀長、前方總指揮部參謀長職務。
滕代遠
為什麼中央軍委會選擇滕代遠呢？
首先，最直接的原因在于當時隻有滕代遠能夠在最短的時間内承擔起前指參謀長的職責。
在當時，林彪被我黨派到重慶和周總理一起，負責我黨與蔣介石繼續合作抗日的談判，而這一談就是一年多時間，顯然林彪是無法抽身去擔任前指參謀長的；葉劍英當時已是身兼數職，不但是八路軍（國民革命軍第十八集團軍）的參謀長，還是中央軍委參謀長、中央教育委員會委員、軍事學院副院長，此時的葉帥已經是分身乏術，顯然也無法再無兼顧前指參謀長這個事務繁忙的職務。由此，最終軍委決定由滕代遠擔任前指參謀長。
其次，選擇由滕代遠擔任前指參謀長還有一個重要原因，就是滕代遠與彭老總早有合作的經驗，無需經過過多的磨合，兩人就能迅速且默契的投入到指揮工作中。1928年時，滕代遠和彭老總曾經一起在湖南平江發動平江起義，當時彭老總任紅五軍軍長，滕代遠任黨代表。
再是，滕代遠的資曆、能力和威望足夠去擔任前指參謀長，且也能上司好八路軍。
滕代遠這個名字，對于現在的人們來說或許不太熟悉，但是他卻是中國工農紅軍早期創始人，也是新中國鐵路事業的創始者。對于新中國而言，他的功績不遜任何一位新中國的功臣元勳。
平江起義起義歌
滕代遠，1904年出生在湖南的一個普通的苗族農戶家庭，是我黨很少見的少數民族将領。1923年，滕代遠入常德湖南省立第二師範學校學習深造，在校期間曾與一些進步同學組織了麻陽新民社，創辦了當時較為知名的校刊《錦江潮》。次年，滕代遠就加入中國共産主義青年團。1925年加入中國共産黨，是我黨最早一批黨員。
自加入我黨開始，滕代遠就積極活躍于革命鬥争的第一線，在湖南一帶宣揚共産思想，開展農民運動，組織農民武裝。1928年7月22日，滕代遠與彭德懷、黃公略等在湖南平江縣發動和上司了平江起義，成立了中國工農紅軍第五軍，并開辟了湘鄂贛革命根據地。同年12月中旬，滕代遠與彭老總率紅五軍主力到達井岡山，與紅四軍會合，而後與其合編為紅四軍第三十三團，這時滕代遠任紅四軍副黨代表兼團黨代表。
平江起義能夠勝利，滕代遠功不可沒。事後彭老總就曾經說過，沒有滕代遠就沒有之後的紅五軍與湘鄂贛革命根據地，在當時解除反動武裝、策反中下級軍官等計劃的制訂與部署，滕代遠在其中都起到了重要的作用。
1930年，紅三軍團成立，滕代遠任政治委員。同年8月，紅一軍團與紅三軍團在浏陽縣會師，并合編為紅一方面軍，滕代遠任副總政治委員兼三軍團政治委員，而此時毛主席任紅一方面軍總政治委員。這時滕代遠的職務跟毛主席相差無幾，可見他在黨内的資曆是很深的。
中國工農紅軍第一方面軍戰鬥序列暨主官姓名表
1933年，滕代遠開始擔任蘇維埃中央軍委武裝動員部部長，并先後參加了中央革命根據地第一至第四次反“圍剿”戰争。在反“圍剿”作戰中，滕代遠準确洞悉敵人的軍事部署，便向我黨上司人提出了諸多可行性的建議，為我軍取得勝利立下了不可磨滅的功績，是以也獲得了中華蘇維埃共和國中央革命軍事委員會二等紅星獎章。
1934年9月，赴蘇聯學習，并出席了1935年7月召開的共産國際第七次代表大會。1937年12月回歸延安，擔任中共中央軍委參謀長，負責協助黨中央指揮八路軍、新四軍等我黨軍隊與日軍作戰。
1939年晉西事變後，滕代遠奉命赴晉西北地區指揮我軍進行反頑鬥争，粉碎了國民黨頑固派發動的第一次反共高潮，壯大了我黨的抗日武裝力量，并發起組建了晉西北革命根據地，為我黨培養了一大批新鮮血液。
如此資質、如此能力、如此威望，不正是前方總指揮部參謀長的最佳人選嗎？
1949年1月2日，滕代遠、林一和孩子們照于華北軍區司令部駐地平山縣
由此，基于以上原因，最終中央軍委任命滕代遠為八路軍前指參謀長，協助彭老總工作。之後，滕代遠與彭老總精誠合作，先後參與指揮上黨戰役、平漢戰役等戰役，在華北抗戰最困難的時期指揮着前線軍民英勇抗戰，一步步渡過了難關，為八路軍的發展壯大立下了不朽之功績。
1948年滕代遠又擔任鐵道部部長，負責全國鐵路的修建。當時，他曾說過這樣一句話：“野戰軍打到哪裡，鐵路就修到哪裡”，是盡全力為解放軍提供交通便利。
以滕代遠的資曆、能力及為新中國所做出的卓越的貢獻，按照正常情況，55年授銜的時候，滕代遠再怎樣也會被授上将軍銜，單憑資曆和戰功這是毋庸置疑的，當初平江起義時，與滕代遠一同上司起義的彭老總就被授予了元帥軍銜，而到1930年時候，他就是紅一軍團副總政治委員，與毛主席地位相當。抗日戰争時期，他又是中央軍委參謀長、八路軍前指參謀長。
由此可見滕代遠當時的地位是有多高，以這等地位在55年授銜時，滕代遠絕對是有資格被授上将銜的，可事實上最後他卻沒有被授予任何的軍銜，這是為什麼呢？
滕代遠陪同毛主席視察鐵路
這和滕代遠最後的選擇有關。
1949年，新中國成立後，為了新中國的建設，滕代遠服從黨的安排，退出軍隊，進入人民政府，擔任鐵道部部長一職。也就是說在55年授銜的時候，滕代遠早已不在軍隊任職。
而在當時授銜時，毛主席就指出：“轉到地方任職的幹部，原則上不參與軍銜評定為好”。由此，滕代遠就決定聽從毛主席的話，主動放棄軍銜評定，他覺得："我隻需要在祖國後面付出就行，這些我不在乎"，滕代遠部長的這等格局實在是令人欽佩。
1974年12月1日，滕代遠老前輩在北京因病逝世。臨死之前他還執筆寫下了"服務"兩個字，足出滕老前輩的無私奉獻精神，他的一生都在默默做事，低調生活，着實令人欽佩。