李芳遠這種思想帶到行動上，就是他來釜山後做的第一件事，將大明貨船上的明朝船員統統關押起來，而派高麗人控制了這五十艘大船，一旦條件成熟，他就會將這五十艘大船及其物資收為高麗所有，但他多少還是有點忌憚父親，也不敢做得太明顯，便將五十艘貨船悄悄駛離海港，藏在附近的一處海灣之中。
這天一早，李芳遠忽然得到了訊息，一支大明船隊正向釜山港駛來，李芳遠大吃一驚，他飛奔跑到港口的眺望臺，向遠方海面上望去，果然，一支由數十艘戰船組成了大明船隊正向海港這邊駛來，他當即下令道：「命三艘戰船前去攔截大明船隻，未經許可，戰船不得進入港口。」
三艘戰船立刻出航，迎著大明浩浩蕩蕩的船隊疾駛而去。
山東水師的戰船離釜山已不到三里，李維正站在船頭，正四處尋找著大明貨船，釜山海港已經一覽無餘，但他看到了只有一些零星的戰船和掛著高麗旗幟的貨船，大小參差不一，根本就找不到五十艘滿載貨物那樣龐大的商船隊是說大明的貨船已經不再釜山港了。
李維正的眉頭皺了起來，無論高麗方面怎麼安排這些貨船，但他們先要得到大明朝廷的同意，但事實上他根本就沒有收到這種訊息，也就是說高麗方面擅自移動了大明的貨船。
儘管心中微微有些惱火，但李維正並沒有表現出來，他見三艘高麗船迎面駛來，便立刻命船隊減速。
寶船緩緩地停止了前行，最後，龐大的艦隊停駐在海面上艘高麗戰船也逐漸減速，停在小山一般的寶船面前，寶船上的軟梯拋下，三名高麗的官員順軟梯爬上了福船，三名官員都是文官，其中一名年長的官員能說漢話，他上前對李維正施禮道：「不知明朝大隊戰船到釜山來是為了何事？」
他這句話一出場所有的明軍將領皆臉色大變，這是明知故問，大明五十艘貨船就在釜山，不是為它們是為什麼來，李維正取出兵部籤的調船令，在他們面前一晃，「我們奉命取回大明的五十艘貨船，還有船上的貨物，如果你們不願意軍船進港我們可以在港外等候，我希望兩個時辰之內，我大明的貨船能夠來和我們匯合。」
」高麗官員面有難色，他們只是奉命來進港，卻無權答應任何事，李維正瞥了他們一眼，又繼續道：「如果貴國是需要一定的存船費用個我也可以答應，但船上不僅有我大明的貨船，還有我大明的船員，請先帶我的人去檢視船隻和船員情況，我們再商談存船費用。」
明軍指揮官咄咄逼人的氣勢使高麗官員臉上見了汗水們三人商量了一下，便對李維正道：「請大人諒解家大將軍不知明軍所來意圖，所以命我們前來探問明商船問題不是下官所能解決，待我回去稟報了大將軍給大人答覆。
」
「你們大將軍是誰？」李維正見他們想溜，一使眼色，左右人立刻攔住了他們的退路。
高麗官員見情況有些不妙，連忙心慌意亂道：「大將軍是高麗攝政王的第五子李芳遠，官拜鎮南大將軍。」
「那好，你們告訴我實話，我大明的貨船究竟怎麼樣了？如果你們不方便一起回答，那就分開來告訴我們。」李維正一揮手，上來十幾名親兵分別將三名高麗官員帶了下去，片刻，一名親兵上前稟報釜山港生的事情，李芳遠將所有的大明船員都抓了起來，大明的貨船也被李芳遠藏匿起來，不知所蹤。
李維正冷笑了聲，他就知道高麗人會這樣幹，五十大船軍需物資他們不眼饞才怪，很顯然，他們是想吞掉這批貨物了，李維正沉思了片刻，便將賴永國找來，吩咐他道：「你帶幾十個兄弟上岸去和李芳遠交涉，按朝廷的指令讓他們放船放人，不要讓步，也不要威逼，他們若不肯，你只管回來就是了，我只是先禮後兵，擺個姿態罷了。」
賴永國抱拳沉聲道：「末將令！」
一刻鐘後，艘明軍的小船隨高麗船隻向港口內駛去，李維正站在船頭上，望著小船漸遠，他的手漸漸捏緊了刀柄，他知道，或許這次真的要和高麗人撕破臉皮了。
賴永國跟隨高麗官員上了岸，一行走到一座大房子前被高麗士兵攔住了，這裡是鎮南大將軍衙門，只准一人進去，賴永國讓士兵在門外等候，他整理一下軍服，挺直腰大步走進了房門。
內，李芳遠已經等候多時了，房間裡殺氣騰騰，數百名親兵分立兩旁，李芳遠斜倚在一張寬背高椅上，手託著下巴，冷冷地望著大步走進了明朝軍官，賴永國走上前拱手施了一禮道：「天朝五品武官賴永國奉我家指揮使大人的命令前來交涉貨船一事。」
說罷，他將兵部的調船交給了一名高麗士兵，李芳遠的漢語很好，無須翻譯，他看了一遍調船令，不由冷笑了一聲，便坐直身子道：「你們大明調船令的抬頭是寫給前高麗國王，他昏庸無德，已經被我們高麗人推翻，現在是攝政王掌管高麗政權們只效忠於他，所以這封調船令我們不能接受，貴國兵部須重新開具調船令後方可領回貨船。」
賴永國見高麗人以調船令藉口想耍無賴，便提高了聲音警告他道：「此事事關大明和高麗的關係，李將軍是否有權決定？請李將軍三思！」
李芳遠重重地哼了一聲，他盯著賴永國森然道：「一個小小的五品軍官有什麼資格與我商量討價，來人！給我打出去。」
兩旁立刻衝上來一群士兵，掄起棍子劈頭蓋臉將賴永國打了出去，李芳遠也知道明軍不會善罷甘休，他立刻下令道：「傳令駐釜山各軍齊聚港口嚴防明軍登陸！」
李芳遠慢慢走到窗前，他默默地注視著京城方向，半晌，他才低聲自言自語道：「父親，抱歉了，若不和明朝翻臉，我們高麗就永遠只能做大明的走狗。」
賴永國憋一肚子怒火返回了寶船李維正見他滿臉青腫，後腦還被打破出血，知道他出師不利，便急令隨船軍醫替他包紮醫治，片刻，包紮了傷口的賴永國上前稟報道：「大人，我向李芳遠出示了調船令，他卻說高麗換了主人，不承認前國王與我明朝達成的協議們回去換一份給李成桂的調船令，這分明是藉口賴帳，我們若拿來新的調船令，他們又會找到別的藉口推脫，甚至會統一口徑說船隻被風暴擊沉，大人，末將已看透了高麗人的企圖是不想把船和物資還我大明瞭。」
賴永國的回答在李維正的意料之中，只是這是李芳遠個人的意思，還是李成桂的意思，倒值得商榷，若是李成桂的意思就是說即將成立的朝鮮王朝將和大明徹底分裂了，可若只是李芳遠個人的意思他就不用考慮後果，放手大幹一場。
李維正一時沉思不語初步判斷這應是李芳遠個人的意思，畢竟李成桂一直就是高麗王朝中的親明派為一個政治家，他不會僅僅為五十船貨物與大明翻臉，只是此時的李維正並不知道，七年後，就是這個李芳遠再次動政變，奪取了父親李成桂的王位，成為朝鮮國王，最後將他父親囚禁而死。
李維正沉思良久，終於下令道：「命令所有戰船後退五里，進行作戰準備！」
明軍的船隊開始緩緩向後調頭，向釜山外海駛去，呂思遠聽說李維正準備攻打釜山港，他連忙跑來勸道：「大人，我建議也不要什麼物資船了，直接返回京城，這樣就可以向皇上交代佔領耽羅島的用意，是高麗賴帳在先，我們不得以才為之，皇上也必然同意，這樣我們就以五十船貨物換取了耽羅島，大人身上的責任也就推脫掉了。」
「不行！」李維正斷然拒絕
遠的建議，他凝視著釜山港徐徐道：「耽羅島和貨物系起來，這是截然不同的兩件事，如果李成桂縛子進京請罪，又返回我大明的貨船和人員，並予賠償，在這種情況下，皇上只能收回貨船，再將耽羅島歸還高麗，否則我大明就會陷入不義，這是皇上絕不會做的事情，那時一切又恢復原點，我們豈不是白忙碌一場，而且皇上支援日本南朝的計劃也被打亂了，在這件事情上我決不能被動。」
五十艘明軍戰船已經在釜山外海擺開了陣勢，隨著寶船的令旗指揮，五十艘戰船一起向釜山港再次挺進，釜山港內已是一片混亂，近一萬五千人的高麗軍隊奔入港口，扼守住了各個險要位置，嚴防明軍登陸，十幾艘戰船也排成一線，準備抵抗明軍船隊的進攻。
明軍的戰艦越來越近，在距釜山港約三里處，兩軍水師遭遇了，「轟隆！」三艘高麗的主力戰船搶先開炮，炮彈紛紛落在明軍戰船的前面，其中最前面一艘戰船的船被炮彈擊中，打穿了一個大洞，它們攔住了明軍的進攻勢頭，這時，衝在最前面的十五艘明軍福船卻轉舵向右橫行，一字在海面上排開，緊接著十幾艘戰船同時炮，白煙騰空、震耳欲聾百顆炮彈呼嘯著撲向高麗船隻，它們不愧是大明最精銳的戰船，船壁堅固，尤其火炮威力極大，炮管長、口徑大，炮彈是重達五斤的鉛彈，其射程和犀利遠遠超過了高麗戰船的火炮，僅一輪火炮後，高麗戰船便損失了近一半，七艘戰船被打得支離破碎杆折斷，船身均被砸破幾個大洞，海水瘋狂地灌入船艙，正迅速下沉，海面上到處是浮水求救的高麗水兵。
高麗水師顯然沒有想到明軍戰船竟是如此犀利，剩下的七八艘戰船紛紛拉帆後撤，但明軍船隊的兩翼已經將它們包圍一陣陣震耳欲聾的炮擊聲中，高麗戰船毫無還手之力，眼睜睜地被打爛打沉，一個時辰後，最後一艘高麗戰船在海面上消失了。
兩千水師全軍覆沒，淹死近半，剩下的一千餘人或游回岸上、或被明軍俘虜，岸上的高麗軍隊目睹本國水師的慘敗，他們不由驚得目瞪口呆忽然，岸上計程車兵騷動起來，遠方海面上出現了一艘龐大無比的戰船，就彷彿海面突然升起的城堡，擁有摧毀世間萬物的力量，它的出現令海港中所有人，無論是高麗軍人還是普通商人百姓頓時感到一種莫大的恐懼，人們自動垂下雙手，弓弦鬆了，火炮停止了裝藥，一時間整個海港一片寂靜。
大明寶船繼續緩向前行駛已經接近了矗立在海港邊緣的燈塔，這是一座高二十丈用大石砌成了高塔，也是釜山港的標誌建築寶船在燈塔三百步外停住了，忽然一片猛烈的火炮轟炸聲寶船上白煙飛騰，一百餘顆炮彈幾乎同時擊中了燈塔，燈塔劇烈地搖晃起來，一陣深沉的轟隆聲響徹全港，如同彤雲密佈時打響的驚雷，幾乎所有的高麗人都是一個動作，捂住了耳朵，張大嘴，驚恐萬分地望著燈塔，燈塔僅在明軍巨無霸戰艦的一輪炮擊下便轟然倒塌了。
海港山頂上的一棟石裡，李遠芳站在窗前，同樣驚恐地望著大明寶船將燈塔轟塌，他腿一軟，無力地跌坐在椅子上。
窗外炮聲烈，不時傳來房屋的倒塌聲和士兵的慘叫聲。
「稟報大將軍，海港內百餘艘商船全被明軍擊沉，商人們激憤異常，準備進京告大將軍之過。」
「將軍，炮臺被明軍轟塌，死傷百人。」
「大將軍不好了，倉庫和頭被明軍火炮摧毀，倉庫中的物資損失慘重。」
一個接一個的報告讓李遠幾乎崩潰了，明軍在釜山港大開殺戒，五十艘戰船輪流炮轟港口，高麗軍隊死傷已達千人，其餘軍隊全部撤離了狹窄的港口，整個港口的各種建築和設施幾乎都被夷為平地，港口再沒有任何防護，李芳遠在十幾名親兵的架護下準備逃離釜山，這時一名士兵驚惶地跑來，拿著一封信喊道：「大將軍，這是明軍射上岸的一封信。」
李芳遠接過信，他顫抖著手將信開啟，只見上面寫著幾句話：‘從隋高句麗、從唐新羅、從宋高麗，自古皆為天朝屬國，偶有桀驁不馴，如高句麗、百濟之流，皆被天朝所滅，眼看高麗將亡、李氏興起，卻不思效忠天朝，反以粒米之光比耀皓月，莫非歷史已遺忘，欲重走高句麗、百濟舊路？天朝以仁義為本，不念小過，限爾兩個時辰內交出大明貨船及船員，若誤一刻，大明水師將北上開京、漢城，以火炮問爾國王索要！’
李芳遠呆呆地看著這封信，良久，他終於長嘆一聲，無奈地對左右下令道：「命人立刻放了明朝船員，並領明朝水師去烏鴉灣收回五十艘貨船！」
洪武二十四年二月十八日，因高麗鎮南大將軍李遠芳竊據大明貨船引了釜山危機，威海衛指揮使李維正率大明水師兵釜山，以重炮將釜山港夷為平地，李遠芳無奈，交還了被扣押的船員和貨船，大明水師返回了耽羅島，在耽羅島休整三天後，二月二十六日，李維正率大明水師護衛著貨船，離開了耽羅島，向日本北九州進。