1954年6月，中央人民政府為了減少組織層次，克服官僚主義，加強上司，決定撤銷大區一級行政機構，撤并若幹省區。
作為中共西南局書記、西南軍區司令員的賀龍奉調到中央工作，從此開始了他的革命政治、軍事生涯中更加輝煌的階段。1954年9月，在全國人大一屆一次會議上，賀龍被任命為國務院副總理兼國家體育運動委員會主任、中央軍委副主席、國防委員會副主席。
1955年9月，中國人民解放軍第一次實行軍銜制，中華人民共和國主席毛主席授予賀龍等10人中華人民共和國元帥軍銜，賀龍同時榮獲一級八一勳章、一級獨立自由勳章、一級解放勳章。
1956年9月，在黨的“八大”上被選為中央政治局委員，參與研究黨和國家的重大方針、政策和路線。從1954年至1966年，十二年時間裡，根據中共中央、國務院和中央軍委的決定，賀龍先後上司過中央國家機關整編，分管國家體委、國防工業，多年主持中央軍委日常工作，還不斷參與各方面的國務活動和外事活動，成為德高望重的黨和國家上司人。這一切充分證明了毛主席對賀龍的高度信任和倚重。
賀龍當國家體委主任是在1952年底，那時他還在西南局任黨政軍一把手。不過，那時的國務院叫政務院。起因是1952年8月，全國體育總會在觀摩了第十五屆赫爾辛基奧運會後，向中央建議：在政務院設立一個與各部平行的全國體育運動委員會，主任最好請賀龍同志來擔任。
當時，剛從西南局到政務院擔任常務副總理的鄧小平經與周恩來、劉少奇和毛主席商量後，給賀龍打電話說：“老總，政務院決定設立中央體育運動委員會，全國體育運動總會有個報告，建議請你當主任，我和總理商量了，也感到由你擔任最合适。”
“毛主席的意見呢？”賀龍問道。
“毛主席也贊成。”
“好，毛主席叫我幹，黨中央叫我幹，我就幹！”
征得賀龍同意後，周恩來11月15日在懷仁堂召開政務院第19次會議，一緻通過賀龍任國家體育運動委員會主任，蔡廷楷任副主任。
1953年4月，賀龍從重慶趕到北京，主持召開了第一次全國體育工作會議，讨論了發展我國體育運動的方針和規劃。接着，賀龍召開中央體委黨組會議，認真研究修改了具體規劃，并以中央體委黨組名義，向黨中央寫了《關于加強人民體育工作的報告》，提出了“改善人民的健康、增強人民的體質”的方針。不久，毛主席就此發出号召：“發展體育運動，增強人民體質。”
賀龍愛體育，早在抗戰時期，他建立的一二0師戰鬥籃球隊，曾聞名于陝甘甯晉綏邊區。進軍大西南後，他又四處博攬人才，在西南建立了新中國第一支專業體工隊，為國家輸送了大批體育人才，受到全國體育界的仰慕。
建國初期，百業待興，各方面都需要建設人才，但由于很多人抱有曆史偏見，把體育、文化這樣的事業當作業餘活動，是以新中國的體育事業發展很緩慢，困難也很多。
賀龍受命後，以高度責任感，強烈的事業心，傑出的組織才能，白手起家，艱苦創業，依靠群衆，尊重人才，給國家體委搭起基本架構，配齊各級上司骨幹，在全國各大城市修建了38座可以容納2.5萬人的體育場館，為開創新中國的體育事業竭盡全副精力。他充滿豪氣地說：我們一定要甩掉“東亞病夫”這頂有辱中華民族的帽子。
國家體委初建時期，專業教練員和運動員幾乎為零，即使有一點從舊社會過來的專業人才，也因為有各種社會關系而不敢啟用，有的人幹脆徹底改行，有的人則流落海外，不願從事專業體育。
賀龍主持工作以後，以無産階級革命家的氣魄和膽略，力排衆議，不拘一格地大膽選拔了一批教練員和運動員骨幹。他們中，有當時親屬在台灣的遊泳運動員塗廣斌，從印尼歸國的遊泳運動員吳傳玉，還有袁世凱政府的外交部長曹汝霖的孫女曹其緯，在香港打敗過英國乒乓球世界冠軍但負債累累的傅其芳，以及不願從事體育專業的國内乒乓球冠軍孫梅英等等。
不久，他們都在賀龍和國家體委的關心下，加入國家體委專業隊，為開創新中國體育事業立下了汗馬功勞。特别是傅其芳從香港歸來後，1954年在國際比賽中奪得了男子單打第三名，為新中國頭一次争得榮譽。後來他當教練，培養名将，使中國在第二十六、二十七、二十八屆世界乒乓球錦标賽中，獲得了男子團體和男子單打的“三連冠”而震驚中外。
在賀龍的博大胸懷下，不僅團結了國内一批體育專家，而且吸引了一批海外赤子回歸報效祖國，他們中最突出的是從印尼歸來的王文教等一批優秀羽毛球運動員，還有50年代從海外歸來的乒乓球運動員容國團等，他們都是新中國體育事業的有功之臣。
經過賀龍和國家體委的艱苦努力，新中國的體育專業組織，從1954年起，便建立起了國家足球隊、籃球隊、排球隊、乒乓球隊、田徑隊、網球隊、體操隊、遊泳隊。後來又發展了羽毛球隊、登山隊、國術隊等等。
為了落實“發展體育運動，增強人民體質”的方針，賀龍十分強調體育要服務于人民健康、經濟建設和國防建設為目的，把開展基層群衆體育運動和專業訓練結合起來。
賀龍從1953年至1966年擔任國家體委主任的14年中，為發展新中國的體育運動，洗刷“東亞病夫”的恥辱，率領體育戰線奮發圖強，使新中國在很短時間内全部重新整理了舊中國的紀錄，打破了100多項的世界記錄，獲得了十多項世界冠軍，培養了大批又紅又專的體育工作者，有300多名獲得了全國體育榮譽勳章，樹起了中國乒乓球隊和中國登山隊這兩面鮮豔的旗幟，極大地鼓舞了全國各族人民的鬥志。賀龍無愧于新中國體育事業的開拓者和創始者。
賀龍作為國務院副總理之一，協助國務院總理周恩來，貫徹睦鄰友好，尋求和平、友誼與合作的外交方針，頻繁地參與了外事工作。
從1954年9月到1966年5月，12年中，他先後8次參加或率領中國黨政軍代表團和體育代表團通路了14個國家，接待了越南胡志明主席、北韓金日成首相、高棉西哈努克親王、蘇共總書記赫魯曉夫等亞洲、非洲、歐洲和拉丁美洲24個國家的30多位國家元首和政府首腦，以及其他政府的、軍事的、體育的和黨的代表團，為宣傳中國對内對外政策，發展與鄰國的睦鄰友好關系，加強中國同世界各國的友誼，維護亞洲和世界和平，維護中國人民的尊嚴，維護毛主席思想和毛主席個人的崇高威望，作出了應有的貢獻。
1964年11月5日至13日，應蘇共中央和蘇聯政府邀請，中國派出了以周恩來為團長、賀龍為副團長的中國黨政代表團，去莫斯科參加十月革命47周年紀念活動。
7日晚，賀龍同周恩來等出席蘇聯政府在克裡姆林宮舉行的國慶宴會。蘇聯元帥科涅夫見到賀龍很高興。他對中國代表團成員說：“賀龍元帥是我的老朋友。”羅科索夫斯基和莫斯卡連科元帥也表示了對中國的友好情誼。
在勃列日涅夫柯西金等上司人敬酒後，周恩來同賀龍走到蘇聯元帥們的席前，向他們祝酒。周恩來提議為中蘇兩國人民的友誼，為兩國軍隊的友誼幹杯！蘇聯元帥們高興地舉起酒杯，表示這一杯酒非幹不可！
這時，蘇聯國防部長馬利諾夫斯基走了過來。他先同周恩來寒暄了幾句，接着挑釁說：“我們不希望有任何鬼來搞亂我們兩國關系，我們要友好。”周恩來說：“加強友誼需要雙方共同努力。”馬利諾夫斯基說：“我們人民要幸福，你們人民也要幸福，不要任何毛主席、任何赫魯曉夫來妨礙我們。”
周恩來當即嚴正指出：“你胡說什麼？”因為有西方的使節和記者在場，周恩來沒有多說，也不再理睬馬利諾夫斯基。
馬利諾夫斯基碰了釘子，但并不罷休。他别有用心地對賀龍說：“賀龍同志的元帥服很漂亮，這已經不像當年的布棉襖了。”賀龍說：“還是當年的棉衣好，我舍不得扔它。”馬利諾夫斯基說：“我也認為棉衣好，元帥服是浮華虛飾。我們的元帥服被斯大林玷污了，你們的元帥服被毛主席玷污了。”他放肆地說：“我們已經把赫魯曉夫搞掉了，你們也會把毛主席搞掉的，隻是時間未到。”
賀龍聽罷，勃然變色，義正詞嚴地指出：“你的話完全是錯誤的，我根本不能同意。”說罷走到周恩來身邊，報告了剛才馬利諾夫斯基的話。周恩來很氣憤，立即向米高揚指出：“馬利諾夫斯基剛才胡說八道。”米高揚說：“這絕對不代表我們的路線。他多喝了幾杯酒，才說這樣的蠢話，請你不要認真看待這件事。”
8日上午，蘇聯上司人到中國代表團駐地拜訪周恩來、賀龍等。雙方寒暄過後，周恩來代表中國代表團向蘇上司人指出：昨晚馬利諾夫斯基在宴會上的挑釁，是對中國人民偉大領袖毛主席同志的侮辱，是對中國共産黨、中國人民和中國黨政代表團的侮辱。這種事連在赫魯曉夫在位時也未曾發生過。
勃列日涅夫辯解說：昨天馬利諾夫斯基酒喝多了，是酒後失言。
周恩來說：這個問題很嚴重，像這樣嚴重的事，是不能用酒後失言來解釋的。中國有句俗話叫酒後吐真言。接着，周恩來質問道：“你們要煽動反對毛主席同志？這是癡心妄想，絲毫不能損害毛主席在中國黨内的崇高威望。”
勃列日涅夫不得不表示：感謝周恩來、賀龍昨晚所采取的有分寸的做法。馬利諾夫斯基不是蘇共中央主席團委員，作為中央委員他也沒有權利發表個人意見。他的話同蘇共中央和新上司的看法毫無共同之處，決不代表主席團的看法。馬利諾夫斯基願意向中方正式道歉。我也以中央委員會的名義向你們道歉。勃列日涅夫一再表示：這是我們上司集體的看法，是蘇共中央主席團的正式聲明，請求中方信任和作肯定的評價，希望不要因為這事影響了雙方已經預定要進行的工作。