桓譚記得，自己南下前，第五倫用手指著太陽穴，如此說道：「而是思想上的疾病！」
此番換俘的真正目的，是為了瓦解劉秀陣營的意志——當四千俘虜期間好吃好喝的漢兵回到淮南江東，必然會將他們的經歷告訴鄉黨鄰居，因幽冀軍團軍紀差而被妖魔化的魏朝形象，便能得到一定扭轉，等再打仗時，淮南、江東士卒便不會拼死而戰，而是心存僥倖了。
再者，這四千人裡，繡衣衛也已經策反了不少人，他們一旦回家，便是魚入大海，成為打入敵人內部的細作間諜，可使未來滅吳之戰事半功倍。
雖然很希望劉秀能答應換俘，但第五倫並未給桓譚下死命令，休戰換俘一事，是連環計，在第五倫出手那一刻，就給劉秀埋下了許多個大坑，不論他選擇進退，都會踩中。
於是桓譚也不多言，起身拂袖道：「吾主仁德，這才力排眾議發國書，遣我至此，既然吳王不願接回來君叔、劉植屍骸，不願四千江東子弟歸鄉，桓譚也不必久留，今日我便啟舟北返！」
和來時一樣，桓譚的舟船緩緩離開當塗，向淮北駛去，他的族侄桓榮未來相送。
但等那船帆就快消失不見時，桓榮的身影才出現在碼頭，朝族叔作揖拜別，許久才重新抬起頭來，桓榮臉上，竟已是淚流滿面。
「族叔昔日教誨、資助，桓榮絕不敢忘，然忠君大於宗族之悌、師長之義，既然各為其主，桓氏二龍，便只能以淮相隔了！」
「自此一別，恐怕再無相見之日。」桓榮是固執的人，哪怕大漢處於弱勢，哪怕未來當真無法戰勝第五倫，他也會效仿劉植等人，殉漢而亡！
而盱眙行轅處，得知桓譚已走，劉秀悵然若失，只在無人時對鄧禹感慨道：「桓譚此來，是第五倫欲在伐兵之後，再度伐謀。」
劉秀當然看穿了第五倫的小伎倆，這哪裡是四千俘虜啊，分明是四千把攪亂南方人心的匕首！
鄧禹頷首：「所幸早早看穿，逐走了桓譚。」
「不然。」這才是劉秀最無奈之處啊，他說道：「吾等雖千防萬防，但還是中了第五倫詭計啊。」
事後劉秀仔細思索，發現即便拒絕，他仍是踏入了第五倫的陷阱。
劉秀苦笑道：「依照第五倫行事，必定對桓譚使漢大肆宣揚，淮北士民飽受戰亂，期盼休兵；四千淮南、江東被俘兵卒也心生僥倖，覺得有機會返鄉。」
「而今，彼輩得知朕拒絕休戰、換俘，定大失所望，第五倫再加以引導，甚至會對朕與大漢心生恨意。下一場仗，淮北士民、東南俘虜，恐將反戈相向。」
鄧禹是聰明人，立刻明白過來了，頓時驚出了滿身冷汗。
同理，被劉秀拘禁在江東的蓋延、漁陽突騎，聽說第五倫主動換俘，肯定也會心存愧疚，得知劉秀不肯放人，心懷怨念下，又豈會傾力助漢呢？
前後左右都是陷阱，不論往哪邊走都會落得一身汙，只能兩害取其輕。
「如此一來，第五倫博得仁德之名，反倒是朕陷於不義了。」
劉秀只唏噓：「今日方知第五伯魚智計百出，絕非虛聞，此人從不無的放矢，每一次引弓，射來皆是毒箭！無怪乎吾兄英雄一世，竟陷於渭水。」
事已至此，又該如何補救呢？鄧禹提議：「既然如此，那四千俘虜家眷，是否要遷入閩中，以絕其亂？」
「不可，朕豈能以小患而失信義於天下？」
劉秀咬牙道：「令人宣揚，就說是第五倫明為換俘，卻暗藏兵甲，欲渡淮水，故換俘不成，皆乃魏人之責也！」
「再傳密詔，令地方不得刁難四千戶人家，若有孤兒無人撫養，皆收入羽林，朕視之為赤子！」
既對外表明瞭皇帝的一片赤誠，這些孤兒又相當於人質，足以令那四千淮南俘虜不能全心全意投效第五倫。
鄧禹直道此策高明，但劉秀卻不怎麼高興，甚至有些難過。
「倉促之策罷了，倫以譎，吾以誠，每與倫反，漢方可成事，然今為第五倫毒計所迫，不得已也用詭譎，朕心不安啊。」
鄧禹連忙安慰：「兵者詭道也，陛下無須自責。」
劉秀卻不這麼認為：「本當用祖制，以王霸道相雜取天下，如今卻效仿第五倫，同流合汙。」
面對這難纏的對手，自起兵後第一次，一向自信的劉秀，竟也有了巨大的無力感，他指著北方，彷彿能看到既得徐，復望揚的強敵。
「仲華，若單論玩弄陰謀，縱是吾等加起來，又豈是第五倫的對手呢？」