當初，秦始皇對趙佗可謂情有獨鐘，傾注了心血的，寄予了殷切的希望。統一天下後，秦始皇就指令屠雎為首，趙佗為輔，率領50萬人南下百越之地，在那裡開拓邊疆，設立郡縣，屯墾戍邊，搞得有聲有色。嬴政的舉措可謂知人善任，但是，身為趙國後人的趙佗也完全沒有必要感恩戴德，因為嬴政所為都是為了他的家天下的。
不久之後，秦始皇病逝，秦二世登基。秦二世胡亥生性殘暴，加上有趙高，李斯等人教唆，使得無數忠良被逼自盡。其中就有我們所熟知的“蒙恬、蒙毅”等。如果這個時候趙佗回來估計也難逃厄運。這個時候的秦國内憂外患，項羽，劉邦楚漢相争，秦國搖搖欲墜。這時如果趙佗放棄南越回來支援秦國，劉邦，項羽的實力不容小觑，很有可能萬一秦國滅亡，他将斷了後路。
趙佗本人并不是老秦人，而是趙國人，對于趙佗而言，無論自己深處何處，自己總歸還是一個趙國人。這也就注定了他對秦朝并沒有什麼很強的歸屬感。就好比後世對洪承疇的評價出現了極大的差別。我們很難說一個人的行為到底是怎麼樣的。棄暗投明和叛國投敵在古代某些場合是很難進行區分的，尤其在不同的勢力看來。
對此，《資治通鑒》的作者司馬光就進行了修改，他在《資治通鑒》記載：“以谪徙民五十萬人戍五嶺，與越雜處。”《史記》也提到“發諸嘗逋亡人、贅壻、賈人”，可見這50萬不全是軍隊，還有移民。
扯這麼多，隻是想說明嶺南秦軍的向背并不能決定秦朝的生死，而趙佗也知道自己帶兵北上就是找死，他又不是老秦人（趙佗是河北人），犯不上為秦朝賣命，于是坐觀其變。等到秦朝滅亡，長官也病死了，當遺老遺少沒那個心情，還容易挨揍，幹脆把五嶺一堵，守着三郡建國自立算了。