本来越南也属于我国疆域，而且和岭南两广同属于南越部落。但由于后世王朝军事衰微而脱离了管辖。脱离出来的越南这部分肯定对岭南那部分有很大的意见，所以给了一个贬称。
公元前219年秦军南征百越，交趾郡、九真郡和日南郡。
汉朝时期，西汉武帝时期伏波将军路博德，东汉光武帝时期的伏波将军马援，多次平叛南越一带。岭南伏波祠内敬奉西汉邳离侯路博德及东汉新息侯马援两位伏波将军，两位伏波将军对雷岭南两广地区的平安稳定做出了重要贡献，造福了人民，也受到当政者的嘉奖，并被后世的皇帝多次敕封，使得他们成为民间供奉的“人神”。宋徽宗曾封路博德为忠烈王，宣和二年（1204年），封马援为忠显佑顺王。
但反观越南那部分，纪念的是被马援平叛的征氏姐妹。
建武十九年（43年）5月马援击败二征，二征战败而死，继而在九真消灭二征余部都羊。《后汉书 马援列传》：“明年正月，斩征侧、征贰，传首洛阳。”
但越南的《大越史记全书》二征自杀而死，部下跟着自杀……
说粤语的广府人和其他说各种方言的中国移民一样在越南被称为唐人，他们主要定居在南越地区，越南建国后被认定为华族(汉族），包括1840年以后迁居越南的客家人。越南把1840年以前迁入越南北部的说客家话(是一种带有畲语底层的客家话）的移民和疍民还有村人和黎人合称艾族，主要定居在北越靠近中国的地区，他们主要成份是说客家话的群体，认同祖源在防城港五洞地区。排华发生后大量迁居南越，多登记为华族、山由族、岱依族等，目前登记为艾族的只剩1600多人，正在融入其他民族。
中国南方各族迁居东南亚主要是以下几个原因：
一，改朝换代战争动乱引发避乱迁徙。
二，政府改土归流政策实施引发土司暴动，战败后逃亡。
三，土客大械斗引发太平天国运动导致大量南方人民迁徙。说粤语的族群本来迁徙动力不大，因为在岭南除了壮侗族群是土著外，粤语广府民系是最早在岭南形成的汉族群体，他们占据了最好的土地，没有向外迁徙的内因。直到太平天国运动爆发，广府人群在外力强烈作用下纷纷迁居海外。
事实证明以前很多说山由族通用粤语方言的说法是没有实地调查以讹传讹造成的。严谨地说，山由族使用的是受到客家话和粤语影响很深的畲瑶话。自称山瑶，主要分布在越南北方太原、永福、北江、广宁、宣光等省的半山区，人口十几万。这个民族是哪里来的呢？他们主要认同明末清初，即17世纪初叶，从中国博罗县、归善县迁入越南北方半山区的。
山由族既是山区族群，又传说讲粤语，是个非常少见的案例。
一般中国南方山区移民都是苗瑶族群和汉族客家人，广东现存的瑶族地区就处在客家人包围之中。而广西的瑶族无论人数还是支系都是中国最丰富的，并且有很多瑶族区域既挨着客家区域，也挨着粤语地区，这为某些瑶族群体的粤客化提供了可能性。
而广东博罗一带至今还生活着几千人的畲族群体，他们说一种苗瑶语，周边既有粤语人群也有客家人群。我推测某一支生活在博罗山区畲瑶族群因为外因而向西迁徙，在广西境内形成了客家话和粤语混合的语言，进入越南之前就在族群内部通行了。总结一下，说山由族通用粤语是不符合事实的，也不能简单的把山由族和我国认定的哪个民族直接对应起来，越南也没有把广府人划为山由族。只能说，是越南根据实际情况划定的民族。