張宗頓時大怒，誰說他們是「空待」？為了挽回顏面，二月份時，他不顧舟師對會稽沿海水文條件極其陌生，強令上百艘船，運三千兵出句章港，沿著海岸線繼續南下。靠著本地嚮導指引，繞開暗礁遍佈的「外越群島」，也就是後來的舟山，奔襲三百里外的回浦縣（浙江台州）。
回浦，前漢時是會稽郡南部都尉駐地，為群山秀嶺包圍，若走陸路，非得在山裡繞個把月，但從海上數日可達。
回浦縣不在會稽到東甌、閩中的交通要道上，因此訊息閉塞，本地縣令竟不知魏軍已破江東。倉促間，他手下僅有百來縣卒，根本無從抵抗。乘小舟登陸的魏師水卒很快攻破縣城，回浦縣令是個鐵桿忠漢黨，竟跳海自殺。
此處也成了戰爭中，張宗唯一奪取的地方。
區區一個縣，難以挽回海上舟師的尊嚴，眼看手下們頗為沮喪，張宗卻再度樂觀起來，預言道：
「大戰尚未結束，何愁功業不得？」
張宗這番話，連他的親信們都覺得不可信。
戰爭還沒結束？不是吧，這次南征的形勢不是一般好，而是大好！
和東路軍幾乎沒遭到抵抗就席捲江東差不多，荊北的岑彭率中路軍進攻夏口，進而略取鄂地，南擊長沙，與此同時，馬援的西路軍也從巴郡南下武陵，沿著黔中故道包抄零陵郡，試圖殲滅荊南的漢軍馮異部。
但馮異滑得像條魚，居然還是跳出了包圍圈，帶荊州漢軍從桂陽郡抵達五嶺，就地扼守。
據說劉秀也自豫章南下，抵達交州，以番禺為行在，炎炎漢旗依然在極南之地飄揚。
魏軍沉浸在勝利的喜悅中，東西兩路，傾向於一鼓作氣，窮追猛打，強攻五嶺，完成滅吳大業，不要給劉秀做「趙佗」的機會。
然而中路的岑彭，卻有不同看法，武德十四年（西元38年）三月，他從長沙上奏說：「豫章、桂陽以南，五嶺橫亙，會稽之南，亦有群山為限，林中多蝮蛇猛獸，夏時瘴痢橫行，士卒多為北人，易水土不服。」
「再者，今魏於江東、荊南駐軍，兵力分散，糧秣尚不足，若再發兵南下數千裡，仰攻五嶺，必千里饋糧。」
反觀對面，劉秀雖然只剩下三四萬人，卻都是忠漢鐵桿——牆頭草早已做出選擇，留下降魏了。其兵力收縮後，據守五嶺、閩中、東甌，都易守難攻，尚有一戰之力，若貿然緊追，容易重蹈秦朝第一次徵百越的覆轍。
劉秀的南遁，竟將一盤必輸的棋，重新盤活，拖到了下一回合。
徵南大將軍提議，應該暫緩急進，而徵募江淮、荊北、巴蜀的軍隊，在南方屯田。同時穩固新徵服的州郡，等兩年之後，糧秣充足了，再興兵再戰不遲，這樣才能不給劉秀絲毫機會！
雙方形成了相反的意見，張宗的態度，則介於兩者之間。
他認為岑彭太過保守，而耿、馬二將又不得其法，遂在奏疏裡提出了自己的見解：
「由陸路攻五嶺，需資衣糧，入越地，輿橋而逾嶺，柁舟而入水，行數百千里，夾以深林叢竹，水道上下擊石，夏月暑時，瘴病易發，臣唯恐曾未施兵接刃，死傷者必眾矣。劉秀經營交州數載，我軍與吳兵戰於溪谷之間，篁竹之中，若不能速取，南方必乏，江東荊南恐生變亂。」
所以張宗以為，攻打閩中、交州的主力，應該是海上舟師！
他是有歷史依據的：百多年前，漢朝的勢力還侷限在會稽北部，南方則是南越、閩越、東甌三國割據，當是時，閩越國舉兵圍東甌，東甌向漢朝求援，剛剛繼位的漢武帝力排眾議，發兵出會稽，走海路去救東甌，嚇得閩越收兵稱罪。
又過了十幾年，漢武帝擊敗匈奴，騰出手來收拾南方了，遂派遣橫海將軍韓說，帶著一支樓船舟師，橫渡大海數百里，攻滅了閩越國。
如今海上舟師，強於橫海將軍，完全能重走昔日路線，自句章經過回浦縣，奔襲東甌（今溫州）、東冶（今福州）——這兩個濱海的縣，與會稽本部間有群山之限，如今由劉秀部將臧宮鎮守，保護交州側翼。
張宗覺得，自己已經領會第五倫建立海上舟師的目的了：他們能將大海變成坦途，繞開群山峻嶺，從琅琊到句章，只是一次演練。真正的大用，應在奪取東甌閩中。等皇帝下定決心奪取交州時，大船更能運兵橫跨南海，出現在交州番禺港口外！像一把魚叉，狠狠刺入劉秀的背部，完成致命絕殺！
時間到了五月份，第五倫的詔令，終於送到了南方諸將手中。
第五皇帝命令馬援將西路軍撤回牂牁、巴蜀，著力經營西南夷，目標對準桀驁的句町國……
中路軍駐紮荊州，大興屯田，開發荊湖地區。
東路軍則守備江東，兵臨豫章，昔日會稽郡一分為二，北部是「吳郡」，首府吳縣；南方仍稱會稽，首府在餘杭。
在給張宗的詔令裡，第五倫對他「從海上進軍甌閩、交州」的建言大加讚賞，就這番見識，沒白栽培，遂加戶一百，以示勉勵。
他還大筆一揮，將海上舟師一分為二：一半船隻仍留於南方，整個新會稽郡，都交給他們軍管，錢糧賦稅用於供給軍餉，修補船隻，稱之為「南洋水師」。
另一半船隻，則返回琅琊，他們將繼續警備渤海灣，清繳海寇，保護三韓和高句麗沿海越來越多的齊地商賈，稱為「北洋水師」。
南北海上舟師，仍由張宗統御總領，為了適應新的職權，第五皇帝還給張宗，賜下了新的將號……
「伏波將軍！」