番禺（今廣州）曾是趙氏南越國都城，但經過滅國時的戰亂洗禮，早已不復昔日風光，舊時宮室透著蕭索，熱帶藤蔓在角落裡瘋長，著名的「曲流石渠」也成了青蛙和昆蟲的樂園。
想當初，漢武帝滅南越後，為削弱南越遺民勢力，刻意將番禺邊緣化，刺史常駐交趾郡，元、成後，又持節治於蒼梧，反正就是不來番禺。
失去政治中心地位後，番禺日漸衰敗，其所在的南海郡，人口不過區區十萬，休說和交趾比，連隔壁的蒼梧都不如；若以海港論，番禺雖然是珠江入海口，但外海島嶼暗礁遍佈，也不如合浦繁榮。只可憐後世的一線大城市，在漢時，竟淪落為三線小城——至於同一梯隊的深圳，雖已有陸地，但也盡是灘塗蠻荒，連漁村都沒一個。
這種情況，直到建武十四年（西元38年）的「炎漢南狩」才有所改變。
儘管劉秀也沒看上番禺，只將「行在」設在蒼梧廣信城，可南海郡畢竟是交州東門戶，連山北峙，巨海東環，所謂包山帶海，險阻之地也。再加上封域綿邈，田壤沃饒，正好用來安置隨他南遷的十萬百姓，遂令大司徒鄧禹鎮守。
鄧禹始終認為，劉秀南狩是神來之筆，硬生生將覆滅厄運扭轉，讓大漢社稷，能在嶺南續下去。
只可惜第五倫優勢時一貫謹慎，滅漢只在咫尺，竟硬生生忍住了，他沒有立刻發兵南下，而是不急不慌地經營江東、荊南。這讓劉秀反擊取勝，以壯士氣的計劃未能實現。
是年入夏後，許多人不適應南海郡炎熱的氣候，疾病肆虐，死者倍增，甚至連鄧禹的助手，大漢九卿之一的廷尉、穎陽侯祭遵也病逝。這種情況下，哪怕最忠誠的漢兵、官吏，心中也滋生了許多懷疑，悲觀的情緒籠罩在殘漢小朝廷頭頂。
一個傳言在番禺城、南海郡散佈開來。
「漢武屠南越為九郡，然越相呂嘉臨死前，與越巫詛咒預言：漢蹈越轍，終亡於南海！」
呂嘉何許人也？他是百多年前的嶺南駱人大姓，也是南越國的丞相。從趙佗開始，服侍了三代君王，宗族官仕為長吏者七十餘人，子弟與王室聯姻，威望比南越王還高。
當漢武帝想一統嶺南時，最初走的是外交吞併路線，南越太后、國王本已服軟，唯獨呂嘉不願。這老傢伙竟帶族兵攻入王宮，殺南越王，扶持新王，與漢朝對抗到底——這場政變中一併死難的，還有那位著名的「漢終軍」。
呂嘉的行為惹來漢皇雷霆之怒，四路大軍南征，南越國最終覆亡，呂嘉也沒跑掉，被漢伏波將軍路博德砍了腦袋。但時隔百餘年，呂嘉的大名，在嶺南仍無人不知無人不曉，這「呂嘉詛咒」，被傳得有鼻子有眼。
說來好笑，因為劉秀早先大搞讖緯，以證明自己的天命所歸，用於凝聚敗軍之際的人心，以至於漢軍上下迷信甚重。眼下竟赫然反噬，南海郡十餘萬百姓，萬餘兵卒將信將疑，人心浮躁得很。
鄧禹看得明白，這肯定是魏國繡衣衛細作散播的惡毒謠言！
「畢竟南下時不戰而退，棄地萬里，眾人畏懼魏軍，生怕到了嶺南，一旦第五倫發動進攻，大漢仍會速亡啊。」
針對「漢旗還能打多久」的問題，鄧禹立刻加以反駁，寫了洋洋灑灑一篇雄文，專門針對「速亡論」。
鄧禹認為，大漢絕不會重蹈南越覆轍。
其一，南越開國者趙佗，其實是暴秦餘孽，註定無百年之運；而劉秀是大漢正統，有天命加持。豈不聞南方火德？炎漢之旗，註定將復興於南海蒼梧！
其二，漢時歷經文景之治，經營揚州、荊州一甲子，漢武帝又經過十多年策劃準備，才敢發兵南征；而今第五倫內政不修，北有匈奴之害，拿下江東才短短幾個月，拿什麼來強攻五嶺？若第五倫敢急擊，一定會重蹈暴秦伐百越慘敗的覆轍。
其三，大漢不是獨自戰鬥，他們有盟友！南越國時，鬱林郡以北的夜郎、且蘭不堪一擊，率先降漢，導致南越側翼空出，漢軍偏師長驅直入；而如今，句町國卻是西南夷中的強邦，曾擊敗新莽二十萬大軍，句町王面對咄咄逼人的魏軍，也終於做了抉擇，他接受劉秀賜予的金印紫綬，與漢歃血結盟，足以擋住魏西路軍南下。
其四，當初南越之所以滅亡，除了漢軍太強大外，也因其內部分崩離析：南越太后、國王一心投降，呂嘉弒主獨走，部落駱將們不聽指揮，一盤散沙，焉能不敗？如今的嶺南，卻是漢駱宛如一家，團結一致，不熟悉水土人情的魏軍敢來，必遭重創！
總之一句話，在嶺南作戰，漢必勝！
然而鄧禹的預言，尤其是漢駱兩族「精誠團結」的話，很快就被殘酷現實打了臉。
建武十五年（西元39年）春，不等殘漢小朝廷在嶺南站穩腳跟，驚變就從更南方傳來：
「交趾郡駱女徵側、徵貳姊妹，殺官叛亂！」
「這一定是魏國繡衣衛煽動！」
驚聞此事，鄧禹第一時間懷疑起敵國間諜來。
但蒼蠅不盯無縫的蛋，嶺南是鄧禹打下來的，他稍花點心思就能想明白，交趾的叛亂到底怎麼回事。
過去，交州雖立郡縣，但漢官的統治僅維持在郡城、縣城周邊，離城三十里，便是另一番光景：要麼熱帶雨林叢生，要麼就是山高水遠，越人、駱人部落居住在這些地方。他們習俗與漢民大不相同，椎結徒跣，貫頭左衽，言語又不通，交流起來，比江東的山越更難，長吏之設，雖有若無，想要編戶治理何其難也，只能依靠各部落頭人「駱將」來間接治理。
前漢甚至取消了交趾、日南、九真三郡的賦稅，只徵收當地珍珠、香料、象牙、犀角、玳瑁、鸚鵡、翡翠、孔雀等奇珍異物為貢，漢駱之間尚可相安無事。