当初，秦始皇对赵佗可谓情有独钟，倾注了心血的，寄予了殷切的希望。统一天下后，秦始皇就命令屠雎为首，赵佗为辅，率领50万人南下百越之地，在那里开拓边疆，设立郡县，屯垦戍边，搞得有声有色。嬴政的举措可谓知人善任，但是，身为赵国后人的赵佗也完全没有必要感恩戴德，因为嬴政所为都是为了他的家天下的。
不久之后，秦始皇病逝，秦二世登基。秦二世胡亥生性残暴，加上有赵高，李斯等人教唆，使得无数忠良被逼自尽。其中就有我们所熟知的“蒙恬、蒙毅”等。如果这个时候赵佗回来估计也难逃厄运。这个时候的秦国内忧外患，项羽，刘邦楚汉相争，秦国摇摇欲坠。这时如果赵佗放弃南越回来支援秦国，刘邦，项羽的实力不容小觑，很有可能万一秦国灭亡，他将断了后路。
赵佗本人并不是老秦人，而是赵国人，对于赵佗而言，无论自己深处何处，自己总归还是一个赵国人。这也就注定了他对秦朝并没有什么很强的归属感。就好比后世对洪承畴的评价出现了极大的区别。我们很难说一个人的行为到底是怎么样的。弃暗投明和叛国投敌在古代某些场合是很难进行区分的，尤其在不同的势力看来。
对此，《资治通鉴》的作者司马光就进行了修改，他在《资治通鉴》记载：“以谪徙民五十万人戍五岭，与越杂处。”《史记》也提到“发诸尝逋亡人、赘壻、贾人”，可见这50万不全是军队，还有移民。
扯这么多，只是想说明岭南秦军的向背并不能决定秦朝的生死，而赵佗也知道自己带兵北上就是找死，他又不是老秦人（赵佗是河北人），犯不上为秦朝卖命，于是坐观其变。等到秦朝灭亡，长官也病死了，当遗老遗少没那个心情，还容易挨揍，干脆把五岭一堵，守着三郡建国自立算了。
