1946年底，法國發動了全面侵略越南的戰争，以其現代化裝備的軍隊先後占領了越南的大中城市和主要交通線。裝備十分落後的越南軍隊隻好撤退到了農村和山區進行抵抗，打得十分艱難。
1950年初，中國人民解放軍解放了全部中越邊境地區，這讓胡志明看到了越南解放的希望。1950年1月16日，胡志明從越南進入中國廣西，1月30日，胡志明到達北京，之後又去蘇聯和斯大林，以及在蘇聯通路的毛澤東，周恩來商讨援助越南問題。除了武器方面的援助外，胡志明還提出了要中國派軍事顧問幫助越南，而且點名要時任西南軍區副司令，解放軍第四兵團司令員兼政委陳赓來越南。
胡志明之是以想讓陳赓來越南，是因為他們早在大革命時期就結下了深厚的友誼。胡志明于1920年加入法國共産黨，成為越南的第一個共産黨人。在法國期間，胡志明與未來中共上司人周恩來結識，後來在黃埔軍校成為同僚。1924年，陳赓進入黃埔軍校學習，胡志明當時是孫中山先生的蘇聯顧問鮑羅廷的秘書，二人有一定的交情。
為了加強援越顧問團的實力，中央還調第三野戰軍第十兵團政委韋國清擔任顧問團團長，并迅速從幾個大軍區選調多位軍，師，團，營級顧問組成顧問團，成立了負責調運各項援越物資的上司班子。
除了組建訓練團，中國還幫助越南訓練軍隊，1950年5月，越軍第308師師部和下轄的第88團、第102團到達雲南岘山縣進行整訓，越軍是空着手來的，中國軍隊為他們提供了全套的美械裝備，越軍來之前，13軍供給部派出汽車連續18天由昆明到硯山為越軍運送服裝1萬套、毛巾1萬條、棉被8000床、步槍3500支、子彈2500萬發、藥品2百箱。
從1950年4月開始，中南軍區和西南軍區就開始按計劃對越軍所需武器彈藥糧食進行運輸，廣西軍區抽調一個汽車團從柳州經南甯向越南進行不間斷地物資運輸。7月，陳赓，韋國清率領他們上司的作戰顧問班子成員才能夠雲南進入越南境内。
陳赓，韋國清到達越南後，得知越軍準備發動邊界戰役，進而打破法軍封鎖、溝通越南北部根據地。在聽取了武元甲等人制定的作戰計劃後，陳赓又對越軍的作戰計劃進行了修改，胡志明很快準許了這項作戰計劃。1950年9月16日，邊界戰役打響，在戰鬥過程中，由于越軍的戰鬥力有限，組織不夠嚴密，進攻受阻，陳赓和韋國清果斷調整部署，使戰鬥得以進行下去。
戰鬥期間，陳赓，韋國清親自到前線觀察狀況，顧問團成員全部被下放到了越軍各師團中，優化越軍的作戰指揮。最後越軍終于殲滅了法軍最精銳的五個雇傭兵營，殲滅和俘虜法軍8000餘人，打通了中越之間的通道，使得援越物資源源不斷地湧入越南。
邊界戰役雖然取得了勝利，但是陳赓也看出了越軍的弱點，比如在10月3日的一次行動中，陳赓已經做好了全盤計劃，但是行動開始後，越軍準備出發的時候，突然天降大雨，越軍要求等雨停後再出動。
陳赓覺得難以置信，因為大雨推遲出發，贻誤戰機算誰的？這在解放軍中是完全不可能發生的事情，很可能會導緻之前的部署很可能是以功虧一篑，但陳赓終究隻是顧問，武元甲堅持不聽他的也沒有辦法，隻能歎氣作罷。不料最後卻傳來大勝的消息，原來法軍看到下雨也推遲了出發時間，最後還是越軍趕在了前面，一舉将法軍擊潰。
戰鬥期間，越南軍隊長期進行遊擊戰缺攻堅戰鬥經驗的毛病也暴露了出來，技戰術水準不足和缺乏嚴密組織讓他們的進攻頻繁失效。為此，陳赓，韋國清多次臨時調整部署，這次把戰局給挽救回來。
不過讓陳赓感到慶幸的是，法軍也不比越軍強到哪裡去，陳赓對法軍的評價也很低，他認為法軍的戰鬥力都不如國民黨軍隊，輕敵傲慢，警惕性低，時刻都擺着一副挨揍的樣子。後來陳赓在日軍中寫道：“越軍和法軍，真是一對奇妙的對手。”
戰鬥勝利結束後，越軍總部舉辦了一次盛大的慶功會餐，因為白天要防止敵人騷擾，是以宴會定在了晚上。整個竹樓多坐滿了人，胡志明，陳赓，韋國清和顧問團的成員都坐在最中間，小木桌上擺着不少繳獲的法國罐頭和洋酒，還有牛肉，雞肉等菜肴，大家頻繁舉杯飲酒，慶祝此次來之不易的勝利。慶功會上，胡志明舉杯向身邊的中國顧問一一敬酒，他坦誠地對陳赓說：“這一仗你們真是幫了我們大忙，我對你們的工作十分滿意。”
回國之前，陳赓和胡志明進行了很長時間的交流，并向其提出了越軍今後建軍和作戰的寶貴意見。最後陳赓還應胡志明的邀請，為越軍營以上軍官做了四天的戰鬥總結報告，同時對越軍在戰鬥中的表現提出了意見。
當時陳赓在越軍中的名氣很大，很多越軍官兵都問中國軍事顧問團成員：“像陳赓這樣将領，在中國還有幾位？能不能讓他留在越南繼續指揮我們打仗。”
然而，當時陳赓已經不能繼續留在越南了，一是他在越南的任務已經完成，二是顧問團能力很強，足夠解決越軍所面臨的問題，三是北韓戰事緊張，需要陳赓這樣久經戰陣的老将出馬。陳赓離開越南後，便匆匆趕往北韓戰場，擔任中國人民志願軍副司令。
陳赓離開越南指揮，韋國清擔負起援越軍事顧問團的全部工作。除了軍事顧問團，中國還陸續派出了援越政治顧問團，對越南的财政，糧食，銀行，外貿，對敵經濟，公安，情報等工作進行全方面地教育訓練。