三天後，鄭輝的隊伍來到了長崎北面一個叫櫻之谷的村子，他們不再步行，所有人都騎著馬，馬匹是從地主家找到的，他們毫不客氣地徵用了，三天來，他們幾乎走遍了長崎附近所有的村子和小鎮，還是沒有找到任何蛛絲馬跡，無奈，他們只能繼續向北搜尋。
櫻之谷是中等村莊，有農民三四百戶，這裡位於山區，地方比較偏僻，訊息也很遲鈍，幾乎所有的人都不知道明軍已經在肥前國登陸了。所以當鄭輝他們到來時，立刻在村中引發了騷動，家家關門閉戶，大街上空無一人，所有的人都躲在家中，從窗後，從門縫中驚恐地向外張望。
鄭輝站在村中張望了一陣，他覺的大內家把財富藏在這裡的可能性不大，他正要下令離開，吳義德卻帶著五六名村民跑了過來，他激動地道：「鄭百戶，我找到了幾個能說漢語的人。」
鄭輝大喜過望，現在令他們最苦惱的就是語言不通，他們想懸賞徵集線索，但沒有人能明白他們的意思。這裡居然有人懂漢語，這實在是讓他感到意外。
幾名村民跑過來，紛紛趴在地上嚎啕大哭起來，吳義德嘆了一口氣道：「他們都是大明的漢人，被倭寇擄來當奴隸，有的已經十幾年了。」
鄭輝連忙下馬將他們扶起了起來，他心中也一陣酸楚，這些漢人在異國他鄉十幾年，突然看到自己的軍隊，這該是一種什麼樣的感受？
鄭輝並不知道，這種情況幾乎所有的搜查隊都遇到了，肥前國是倭寇的老巢之一，大量的漢人男女被倭寇擄來，就從這裡被轉賣到日本各地為奴。
幾名漢人奴隸一邊擦眼淚，一邊哭訴道：「我們夜夜思念家鄉，很多人都已經在絕望中死去了，這個村原來有十幾個漢人，現在只剩下我們四人了，懇求將軍把我們帶回故鄉。」
鄭輝點了點頭，「你們放心吧！我一定會把你們帶走，你們現在就可以回去收拾東西，等會兒跟我們走。」
三名漢人答應一聲，飛奔而去，而另一名中年男子卻遲疑下一下，吞吞吐吐道：「將軍，我有件事情想告訴你，不知你感不感興趣。」
「是這樣，大約在四個月前。這裡忽然來了一支軍隊，運送來許多大箱子，當時，他們徵集了一批民夫，我就是其中之一，最後這批箱子被運到一個叫雙福島的外海小島上藏了起來，我和主人當時是在岸上照顧馬車，沒有上船，後來我救了一個從海中游回來的人，他告訴我，所有徵集的民夫都被他們殺死了，他是僥倖逃生，不過最後他也死了，我和主人就趕緊逃跑，才逃脫一命。這件事情我們一直不敢說，不知將軍對這件事是不是感興趣。」
鄭輝欣喜萬分，他一把抓住這個男人的胳膊，急道：「你現在就帶我們去雙福島。」
有了翻譯，後來的事情就容易得多，鄭輝立刻徵集了二百多民夫，一起趕到海邊，海邊的大船都已經被明軍焚燬，只剩下一些不能遠航的小漁船，好在雙福島也並不遠，離沿海僅十里，鄭輝又徵集了二十幾艘漁船，留下幾人看馬，二十幾艘漁船向雙福島駛去。
一個時辰後，漁船都陸陸續續抵達了這座光禿禿的荒島，島不大，佔地約數十畝，實際上是一座小山從海里突出，眾人上了島，那名漢人嚮導領著明軍來到山南一個洞穴前，他指著一塊堵在洞穴前的巨石道：「將軍，兩個月前我和主人曾經來過一次，就是無法移動這塊巨石，無功而返。」
鄭輝命幾人上前推動巨石，卻如蜻蜓撼樹，紋絲不動，真不知原來的人是怎麼把它堵住洞口的，鄭輝沉思了片刻，便命人取來一隻震天雷。在巨石旁鑿開一個一尺見寬的深洞，將震天雷放進去，所有人都遠遠躲開，片刻，就聽山崩地裂一聲巨響，一股白煙升騰，無數碎石飛濺而來，砸在身上疼痛不已，待塵埃落地，巨石被炸成三段，露出一個黑黝黝的大洞。
士兵們大喜，上前將剩下的一塊石塊撬掉，洞口便完整地暴露出來。洞並不深，在陽光的照射下，可以很清晰地看見裡面的情形，數十口大箱子整整齊齊地碼放著，每一口箱子上都用筆寫著數字，用的是日本漢字，一眼便可分辨出來，銀一萬兩，金五千兩等等，還有兩個大箱子裡裝滿了各種奇珍異寶。
鄭輝初步估計一下，這批財物僅金銀就至少有百萬兩，更不用說那些價值連城的奇珍異寶，他心中雖激動萬分，但他也知道事關重大，僅憑他們一百人可能難以保護好這批財富，他立刻派人前往長崎，請求長崎的駐軍派大船前來支援。
兩天後，三艘大明軍船抵達了雙福島。