初戰失利，桓階開始有些信心動搖了。
同樣的兵放在劉琦手中，戰鬥力感覺就會成倍增長。
步兵如此！
騎兵也是如此！
區區千騎突騎，就能突破他的重兵防禦。
短短十數日，漢壽失守、孱陵失守、臨沅失守、沅南失守……
挫敗的戰報如雪花般飛向酌桓階的手中。
居武陵者有雄溪、樠溪、辰谿、酉溪、武溪，謂之五溪蠻。
失敗，可不僅僅會讓地盤丟失，兵士的減員才是桓階最最無法承受的損失。
孤立無援的他已經無路可退了。
無奈之下，他選擇了向沅陵方向撤兵，妄圖尋求五溪蠻族的幫助。
何為「五溪」？歷史上有多個不同的註釋，從眾多的古文獻所註釋歸納起來，指的就是沅水中上游地區的幾條主要支流。
何為「五溪蠻」？文獻上指的就是兩漢時期，武陵郡內所屬「五溪」地域中的蠻夷。因此古文獻又稱他為「武陵蠻」，「五溪蠻」，或「武陵五溪蠻」。
東漢「光武中興，武陵蠻特盛。」西漢末至東漢初，朝庭，官府過重的賦徭，迫使武陵郡內的蠻夷紛紛起來反抗。
這時期的武陵郡，其郡治設在漵浦縣城南三里，當時的武陵郡管轄地域很廣，它北至湖北宜昌以南，西連四川、貴州的東部，南達廣西的三江、龍勝，以及湖南境內的沅水和澧水流域的十三縣。武陵蠻夷，就是指這一廣闊地域內的蠻夷。
東漢初，佔據在湘西，沅陵、辰陽、漵浦之間的蠻夷，其反抗鬥爭非常激烈。自東漢建武十九年至建武二十四年，五溪蠻夷在短短的幾年時間裡，多次打敗朝庭的鎮壓大軍，攻郡克縣，佔領了武陵郡下轄的許多縣城，並也攻佔了武陵郡治所在地的義陵縣城。
這次戰爭，迫使東漢朝廷著出了遷郡廢縣的重大決定。據載:「後漢建武六年，廢縣，縣界與夷接，為所攻破，至是移武陵郡東出治索縣，遂廢地，屬辰陽。」縣誌中所指的「夷」就是「五溪蠻夷。」
把武陵郡治搬遷到洞庭湖畔的漢壽，同時還廢了郡治所在地的義陵縣，把義陵縣地劃歸辰陽管轄。這在東漢初期應該是一件重大的歷史事件，從而標誌建於漢高祖五年的武陵郡治與義陵縣在漵浦徹底消失。
由於這時期的義陵被五溪蠻夷所佔領，朝庭在多次遣大軍鎮壓無功而返的情況下，漢光武帝才令伏波將軍馬援率中郎將馬成、耿舒、劉匡、孫永等率四萬大軍徵五溪蠻。
為了這次進攻的路線，馬援與所屬部將有所爭議。載:「初，軍次下雋，有兩道可人，從壺頭則路近而水險;從「充」則塗夷而運遠。「當時耿舒主張從「充」道，而馬援主張從「壺頭」。
按耿舒的主張，應該是沿澧水而上，首先攻打五溪蠻首領相單程的老巢「充」，;馬援則主張逆沅水而上，首先在沅陵、辰谿一帶，打掉五溪蠻的主力，然後直搗漵浦，收復被五溪蠻所佔領的武陵郡治義陵縣城。
可惜馬援在征討五溪蠻時染病身亡，最後漢王朝也沒把五溪蠻怎麼樣。官軍來了，我退進大山；你撤走，我又出來攻掠縣城。
官府管不了，百姓苦不勝言。只好往沒有蠻人搗亂的地方遷移。
這時的五溪蠻夷主力基本都集中在漵浦一帶。
桓階現在已是騎虎難下之局。
往北不能，南郡已全部被劉琦控制；