安全感是趙構而今最缺乏也最渴望的東西，建炎三年十月某夜發生的一樁小事很清楚地證明了這點。那時他從建康移駕回臨安，中途暫宿於錢塘江邊的寺院歸德院，夜深人靜之時門外忽有震天巨響滾滾而來，如奔雷，如天崩，把趙構生生自夢中驚醒。細聽之下又覺得其聲似萬面鼓鑼齊鳴，鏗鏘激越，隱有金戈碰撞之聲，彷彿千軍萬馬正在激戰。

趙構立即推醒身邊的嬰茀，迅速起身，邊披鎧甲邊問外面的禁兵：「是不是金人襲來了？」

禁兵一愣，忙跑出去看，須臾跑回來稟道：「未曾發現金兵蹤影。」

「那這聲音……」

「是錢塘江潮起之聲。」

自古以來，錢塘江潮勢最盛，漲潮時猶如山崩地裂，一波波卷立起數丈水牆，傾濤瀉浪，噴珠濺玉，勢如萬馬奔騰，其聲自然也響亮非常，能傳數里。趙構這才反應過來，釋然坐下，回想自己剛才的行為亦有些慚愧，看看嬰茀，自嘲一笑：「是不是覺得朕一驚一乍，有失風度？」

必定是想起了揚州那晚之事，他剛才惶恐得像只受驚的小動物。但面對他的提問，嬰茀卻搖搖頭，俯身握住他冰涼的手，說：「亂世之中，官家隨時保持警醒是必要的。」隨後亦淡淡笑了：「剛才聽到潮聲，臣妾也很害怕。」

那時金帥兀朮聽說趙構要回臨安，便大興水師，準備由海道來襲。趙構在臨安只留居了七日，見金軍來勢洶洶，愈逼愈緊，便復渡錢塘江至越州。此前趙構已經把隆祐太后及潘賢妃、張婕妤送至較為安全的虔州，身邊照例只留嬰茀一人。

金軍一路攻城拔寨、勢如破竹，不久後便攻破了建康，趙構帶著嬰茀頻頻移駕躲避，短短數月內差不多已跑遍江浙各城。建康城破後，江淮遮蔽已失，臨安與越州等地都不再安全，趙構一路退至臨海的明州。宰相呂頤浩勸他在迫不得已之時不妨出海暫避，道：「目前之計，惟有航海以避寇氛。敵善乘馬，不慣乘舟，等敵兵退去，再還蹕兩浙。彼入我出，彼出我入，這本來就是兵家的奇計。」

隨後的形勢也逼得趙構無法另想良策。兀朮長馳南進，先趨廣德，再抵臨安。臨安守臣康允之匆忙逃走，錢塘縣令朱蹕自盡殉國，兀朮再遣大將阿里蒲盧渾率精兵渡江追擊趙構，誓要將他活捉回金。趙構因此接納了呂頤浩的建議，乘樓船入海暫避金兵。

自此一連數日舟行海中，途經定海、昌國等縣而不靠岸停留，趙構終日鬱郁難展笑顏。某日御舟如往日般在浩淼煙波中破浪前行，趙構在舟中閱書，嬰茀隨侍在側，忽聽外面甲板上「啪」地一聲響，似有重物落下。兩人當即出艙去看，但見原來是一條巨大的白魚自海里躍出，竟躍到了舟上，此刻正在甲板上不住騰跳，兀自帶著水珠的鱗片在陽光下閃著晶瑩的光。

宮人們嘖嘖稱奇，趙構默然漫看，一言不發，而嬰茀則微笑著朝趙構盈盈一福，說：「臣妾恭喜官家，此乃大吉之兆。」

趙構問：「何以見得？」

嬰茀道：「昔日周武王渡海途中也曾見白魚獻瑞，後來果然得以滅紂興周。官家如今亦得此祥瑞之兆，可見天下不久後將慶昇平。」

這話終於引來趙構舒眉一笑，對她說：「嬰茀，你真是很有心。朕該怎樣謝你呢？」

嬰茀含笑答：「嬰茀只要能見官家常露笑顏，便會覺得很開心。」

趙構牽她的手邁步回艙，親筆寫下詔書：進和義夫人吳氏為才人。

在舟上待到歲末，眼見天氣一天冷似一天，北風凜冽，飛雪似楊花，水面上的御舟不足以禦寒，居於其中寒冷異常，趙構遂準備登陸度歲，不料又接到接到越州失陷的訊息，於是趙構又折回艙中，望著嬰茀嘆道：「看來我們只能在水面上過年了。」

「這也未必不好。」嬰茀安慰他說：「今年官家在舟中過新年，就如漁翁一般。聽說金國宗室將帥間彼此也在明爭暗鬥，或許這預示著賊虜鷸蚌相爭，而官家將坐收漁人之利。」

「你很會說話。」趙構勉強一笑：「事到如今，真覺得這皇帝不當也罷，莫如真做漁翁，倒落得無憂無慮、逍遙自在。」

那年的元旦他們便在海上舟中度過。金兵追擊不果，在攻下的城鎮燒殺搶掠後亦不設重兵留守，掌握軍權的知樞密院事張浚重用韓世忠、岳飛等將，穩步反擊，逐漸收回了大部分江淮失地，趙構才得以登陸回去。