本來越南也屬于我國疆域，而且和嶺南兩廣同屬于南越部落。但由于後世王朝軍事衰微而脫離了管轄。脫離出來的越南這部分肯定對嶺南那部分有很大的意見，是以給了一個貶稱。
公元前219年秦軍南征百越，交趾郡、九真郡和日南郡。
漢朝時期，西漢武帝時期伏波将軍路博德，東漢光武帝時期的伏波将軍馬援，多次平叛南越一帶。嶺南伏波祠内敬奉西漢邳離侯路博德及東漢新息侯馬援兩位伏波将軍，兩位伏波将軍對雷嶺南兩廣地區的平安穩定做出了重要貢獻，造福了人民，也受到當政者的嘉獎，并被後世的皇帝多次敕封，使得他們成為民間供奉的“人神”。宋徽宗曾封路博德為忠烈王，宣和二年（1204年），封馬援為忠顯佑順王。
但反觀越南那部分，紀念的是被馬援平叛的征氏姐妹。
建武十九年（43年）5月馬援擊敗二征，二征戰敗而死，繼而在九真消滅二征餘部都羊。《後漢書 馬援列傳》：“明年正月，斬征側、征貳，傳首洛陽。”
但越南的《大越史記全書》二征自殺而死，部下跟着自殺……
說粵語的廣府人和其他說各種方言的中國移民一樣在越南被稱為唐人，他們主要定居在南越地區，越南建國後被認定為華族(漢族），包括1840年以後遷居越南的客家人。越南把1840年以前遷入越南北部的說客家話(是一種帶有畲語底層的客家話）的移民和疍民還有村人和黎人合稱艾族，主要定居在北越靠近中國的地區，他們主要成份是說客家話的群體，認同祖源在防城港五洞地區。排華發生後大量遷居南越，多登記為華族、山由族、岱依族等，目前登記為艾族的隻剩1600多人，正在融入其他民族。
中國南方各族遷居東南亞主要是以下幾個原因：
一，改朝換代戰争動亂引發避亂遷徙。
二，政府改土歸流政策實施引發土司暴動，戰敗後逃亡。
三，土客大械鬥引發太平天國運動導緻大量南方人民遷徙。說粵語的族群本來遷徙動力不大，因為在嶺南除了壯侗族群是土著外，粵語廣府民系是最早在嶺南形成的漢族群體，他們占據了最好的土地，沒有向外遷徙的内因。直到太平天國運動爆發，廣府人群在外力強烈作用下紛紛遷居海外。
事實證明以前很多說山由族通用粵語方言的說法是沒有實地調查以訛傳訛造成的。嚴謹地說，山由族使用的是受到客家話和粵語影響很深的畲瑤話。自稱山瑤，主要分布在越南北方太原、永福、北江、廣甯、宣光等省的半山區，人口十幾萬。這個民族是哪裡來的呢？他們主要認同明末清初，即17世紀初葉，從中國博羅縣、歸善縣遷入越南北方半山區的。
山由族既是山區族群，又傳說講粵語，是個非常少見的案例。
一般中國南方山區移民都是苗瑤族群和漢族客家人，廣東現存的瑤族地區就處在客家人包圍之中。而廣西的瑤族無論人數還是支系都是中國最豐富的，并且有很多瑤族區域既挨着客家區域，也挨着粵語地區，這為某些瑤族群體的粵客化提供了可能性。
而廣東博羅一帶至今還生活着幾千人的畲族群體，他們說一種苗瑤語，周邊既有粵語人群也有客家人群。我推測某一支生活在博羅山區畲瑤族群因為外因而向西遷徙，在廣西境内形成了客家話和粵語混合的語言，進入越南之前就在族群内部通行了。總結一下，說山由族通用粵語是不符合事實的，也不能簡單的把山由族和我國認定的哪個民族直接對應起來，越南也沒有把廣府人劃為山由族。隻能說，是越南根據實際情況劃定的民族。