1946年底，法国发动了全面侵略越南的战争，以其现代化装备的军队先后占领了越南的大中城市和主要交通线。装备十分落后的越南军队只好撤退到了农村和山区进行抵抗，打得十分艰难。
1950年初，中国人民解放军解放了全部中越边境地区，这让胡志明看到了越南解放的希望。1950年1月16日，胡志明从越南进入中国广西，1月30日，胡志明到达北京，之后又去苏联和斯大林，以及在苏联访问的毛泽东，周恩来商讨援助越南问题。除了武器方面的援助外，胡志明还提出了要中国派军事顾问帮助越南，而且点名要时任西南军区副司令，解放军第四兵团司令员兼政委陈赓来越南。
胡志明之所以想让陈赓来越南，是因为他们早在大革命时期就结下了深厚的友谊。胡志明于1920年加入法国共产党，成为越南的第一个共产党人。在法国期间，胡志明与未来中共领导人周恩来结识，后来在黄埔军校成为同事。1924年，陈赓进入黄埔军校学习，胡志明当时是孙中山先生的苏联顾问鲍罗廷的秘书，二人有一定的交情。
为了加强援越顾问团的实力，中央还调第三野战军第十兵团政委韦国清担任顾问团团长，并迅速从几个大军区选调多位军，师，团，营级顾问组成顾问团，成立了负责调运各项援越物资的领导班子。
除了组建训练团，中国还帮助越南训练军队，1950年5月，越军第308师师部和下辖的第88团、第102团到达云南岘山县进行整训，越军是空着手来的，中国军队为他们提供了全套的美械装备，越军来之前，13军供给部派出汽车连续18天由昆明到砚山为越军运送服装1万套、毛巾1万条、棉被8000床、步枪3500支、子弹2500万发、药品2百箱。
从1950年4月开始，中南军区和西南军区就开始按计划对越军所需武器弹药粮食进行运输，广西军区抽调一个汽车团从柳州经南宁向越南进行不间断地物资运输。7月，陈赓，韦国清率领他们领导的作战顾问班子成员才能够云南进入越南境内。
陈赓，韦国清到达越南后，得知越军准备发动边界战役，从而打破法军封锁、沟通越南北部根据地。在听取了武元甲等人制定的作战计划后，陈赓又对越军的作战计划进行了修改，胡志明很快批准了这项作战计划。1950年9月16日，边界战役打响，在战斗过程中，由于越军的战斗力有限，组织不够严密，进攻受阻，陈赓和韦国清果断调整部署，使战斗得以进行下去。
战斗期间，陈赓，韦国清亲自到前线观察状况，顾问团成员全部被下放到了越军各师团中，优化越军的作战指挥。最后越军终于歼灭了法军最精锐的五个雇佣兵营，歼灭和俘虏法军8000余人，打通了中越之间的通道，使得援越物资源源不断地涌入越南。
边界战役虽然取得了胜利，但是陈赓也看出了越军的弱点，比如在10月3日的一次行动中，陈赓已经做好了全盘计划，但是行动开始后，越军准备出发的时候，突然天降大雨，越军要求等雨停后再出动。
陈赓觉得难以置信，因为大雨推迟出发，贻误战机算谁的？这在解放军中是完全不可能发生的事情，很可能会导致之前的部署很可能因此功亏一篑，但陈赓终究只是顾问，武元甲坚持不听他的也没有办法，只能叹气作罢。不料最后却传来大胜的消息，原来法军看到下雨也推迟了出发时间，最后还是越军赶在了前面，一举将法军击溃。
战斗期间，越南军队长期进行游击战缺攻坚战斗经验的毛病也暴露了出来，技战术水平不足和缺乏严密组织让他们的进攻频繁失效。为此，陈赓，韦国清多次临时调整部署，这次把战局给挽救回来。
不过让陈赓感到庆幸的是，法军也不比越军强到哪里去，陈赓对法军的评价也很低，他认为法军的战斗力都不如国民党军队，轻敌傲慢，警惕性低，时刻都摆着一副挨揍的样子。后来陈赓在日军中写道：“越军和法军，真是一对奇妙的对手。”
战斗胜利结束后，越军总部举办了一次盛大的庆功会餐，因为白天要防止敌人骚扰，所以宴会定在了晚上。整个竹楼多坐满了人，胡志明，陈赓，韦国清和顾问团的成员都坐在最中间，小木桌上摆着不少缴获的法国罐头和洋酒，还有牛肉，鸡肉等菜肴，大家频繁举杯饮酒，庆祝此次来之不易的胜利。庆功会上，胡志明举杯向身边的中国顾问一一敬酒，他坦诚地对陈赓说：“这一仗你们真是帮了我们大忙，我对你们的工作十分满意。”
回国之前，陈赓和胡志明进行了很长时间的交流，并向其提出了越军今后建军和作战的宝贵意见。最后陈赓还应胡志明的邀请，为越军营以上军官做了四天的战斗总结报告，同时对越军在战斗中的表现提出了意见。
当时陈赓在越军中的名气很大，很多越军官兵都问中国军事顾问团成员：“像陈赓这样将领，在中国还有几位？能不能让他留在越南继续指挥我们打仗。”
然而，当时陈赓已经不能继续留在越南了，一是他在越南的任务已经完成，二是顾问团能力很强，足够解决越军所面临的问题，三是朝鲜战事紧张，需要陈赓这样久经战阵的老将出马。陈赓离开越南后，便匆匆赶往朝鲜战场，担任中国人民志愿军副司令。
陈赓离开越南指挥，韦国清担负起援越军事顾问团的全部工作。除了军事顾问团，中国还陆续派出了援越政治顾问团，对越南的财政，粮食，银行，外贸，对敌经济，公安，情报等工作进行全方面地培训。