從萊出海，他便開始暈船了，整整在船艙裡躺了十天才漸漸適應了海上的生活，他是在一個時辰前才知道李維正竟是要攻佔高麗的耽羅島，在此之前，他一直以為李維正只是想奪回十艘被擄的貨船，然後去釜山港繼續護送貨船去日本，耽羅島只是它途中一站，但他昨天才知道，其實被擄的十艘貨船並不在耽羅島，他慮了一夜，直到剛才他突然意識到，護送貨船去日本只是李維正的一個藉口，他真正的目的卻是佔領高麗的耽羅島，也就是說，島上的日本人被殲滅後，耽羅島就不會再還給高麗，這頗有一點假虞滅的味道，不同的是大明水師不請自來。
而讓呂思遠憂心的不是戰爭的勝，而是這次行動的本身，它並沒有得到皇上的批准。
「大人，我知道你有海上臨機斷權，你可以用它消滅耽羅島上的日本人，因為你有藉口，要奪回十艘貨船，但你不能佔領耽羅島，你明白嗎？你雖然沒有違反這個權力的界限，但你卻逾越了皇上的心理底線，皇上從來不會把不受限制的權力給任何人，對你的海上臨機決斷權也是一樣，若你真的未經皇上批准而擅自佔領耽羅島，這就將是你的取禍之道，你也是錦衣衛出身，你應該明白我的意思。」
李維正沒有說話，他目光凝重地注視著耽羅島，耽羅島位於日本和高麗之間，距高麗二百里，而距日本福江島三百餘里，或許現在還沒有人意識到它的戰略地位，但他李維正知道，佔領了這座島嶼，並將它建成大明的水師基地，大明王朝就可以遏制住兩個國家的南下和西進，這座島嶼既是日本的咽喉，它更是高麗的丸，這次機會他一定要抓住，就算是觸犯了朱元璋的底線，他也決不能放棄耽羅島。
李維正開口了，他的聲音略帶一點沙啞，但說得異常清晰、堅定，「呂先生，我十分清楚你的意思，我也知道皇上賦予我的權力僅僅限於糧道的暢通，或許這會是我的取禍之道，可是這次佔領耽羅島的機會如果我不抓住，那我就是大明的罪人，我李維正是大明的官員，大明王朝的利益永遠在我心中第一重要就算因此丟官免職，我也絕不後悔。」
呂思遠被李維正堅定的態度驚呆了，這是他從來沒有意
情，大明王朝與大明皇帝竟然也會有矛盾的地方，衛近十年來都是揣摩皇上的心意，替蔣出謀劃策，可今天，他卻第一次聽到了大明的利益竟高於皇帝，儘管匪夷所思，但呂思遠還是感受到了李維正一往無前的決心，他也感受到了一個大明官員為了大明的尊嚴和利益不惜放棄自己的前途的無悔無憾，這一刻，他忽然有一點感動，他默默地點了點頭，這件事他要盡全力幫助李維正。
「大人，哨船來了。」一名士兵忽然指著海面上大喊。
李維正精神一振，他探身向海面上望去，只見一艘快船正迅速向這邊駛來，正是派去耽羅島探察情況的哨船之一，快船停在寶船下面，兩名軍士順著軟梯爬上了大船，他們快速跑到李維正面前，半跪施禮道：「稟報指揮使大人，高麗的進攻的已經失敗，殘軍乘四艘戰船逃回了高麗，兩邊軍隊皆損失過半。
李維正點了點頭，進攻的時機已經成熟了，他立刻回身令道：「發出進攻的訊號，按照原計劃，命司馬彤率三千軍登陸耽羅島，命賴永國摧毀日本人的船隻，不準一個人漏網。」
幾名傳令兵立刻跑到船尾，用火把發出了進攻的訊號，六十艘戰船立刻掛起了風帆，龐大的戰船編隊在強勁的西風鼓吹下，向耽羅島發起了全面進攻。
耽羅島上此刻一片歡騰，經過兩個時辰的鏖戰，大內英義率領一千兩百名武裝家奴，擊敗了企圖奪回耽羅島的高麗軍隊，一千餘名高麗士兵死傷大半，僅剩三百多人逃走，雖然大內英義的部下也付出了六百人死傷的代價，但他卻得到了高麗軍隊丟下的大量物資糧食，這樣，他便有足夠的糧食和物資前往小琉球島了。
大內英義站在一座低矮山崖上俯視家丁們點著火把，從破舊的高麗船上搬下了一袋袋糧食和軍械，他的嘴角不由浮起了一絲得意的笑容，這時他忽然看見一百多名高麗戰俘被押解過來，這些戰俘幾乎人人都受了傷，大部分人都傷勢嚴重，他們因受傷而無法逃走。
大內英義哼聲，這些傷兵只會成為他的累贅、徒耗糧食，留著毫無意義，他立刻下令道：「把所有受傷的高麗士兵全部殺死，一個也不留！」
山崖下頓時成了屠宰，慘叫聲不絕，家丁用長槍將所有戰俘全部戳死，丟棄在一條渠溝裡，大內英義滿意地點了點頭，他剛要回房，忽然，他看見幾名家丁跌跌撞撞跑來，萬分驚恐地喊道：「首領，南面出事了！」
「出麼事？」大內英義剛剛放下的心又懸了起來。
「有戰船從南面突然殺來，我們不知有多少？」
大內英義的臉色刷地變得白，這必然是高麗人的後援到了，想殺他措手不及，他跳上大石狂喊道：「大家不用擔心，高麗人用偷襲的辦法，說明他們人數也並不多，跟我到南面去，殺死這幫高麗崽子！」
大內英義立刻率領幾百名家丁向南面奔去，離南海岸不到一里時，大內英義看見了密密麻麻的人影出現在島上，敵人已經登陸了，數十名留守南面的家丁幾乎被殺死大半，只剩幾名帶傷的人拼死逃了回來。
一名受傷的家丁連滾帶爬伏在大內英義面前哭喊道：「首領，不是高麗人，是明軍，有幾千人，殺上岸來了。」
大內英義儼如五雷轟頂，他呆呆地站著一動也不動，倭刀從他手上滑落，他的腦海裡一片空白，明軍，他怎麼也不明白，大明的軍隊怎麼會出現在這裡。
經過兩個時辰的血戰，島上的日本武士們皆已筋疲力盡，聽說是明軍，他們的鬥志立刻消亡了大半，不等交手，明軍的一排排火銃噴出火舌，使衝在最前面的數十人被射倒在地，後面的人嚇得掉頭便逃，但明軍從四面八方殺來，堵住了他們所有的退路，在明軍強大的壓力下，已經開始有人扔下刀跪地投降了，隨著一部分死硬反抗者被殺，大部分武士見大勢已去，紛紛跪下投降。
大內英義在五六名屬下的護衛下，向北邊海灘狂奔，海島四周傳來了明軍大炮的震耳欲聾聲，似乎整個海島都被明軍包圍了，他沒有選擇，唯一的出路就是奪船而逃，此刻離他最近的就是那幾艘高麗船隻，就在北面的淺海中。
大內英義竭盡最後的力氣終於狂奔到了北面海灘，可眼前的情景卻使他完全絕望了，四艘高麗戰船全部翻到在海中，明軍的大炮將它們轟得千瘡百孔，在半里外的海面上，大內英義看見了一艘他這一輩子從未見過的巨無霸戰船，震驚、迷惘，他們就彷彿在夢幻中一樣，這是天神派來的大船，大內英義和幾個手下都俯首跪倒在這艘龐大的戰船面前，他們已經完全沒有了抵抗的意志。