劉婉儀從未見他如此盛怒，跪下請罪，顫慄著吞吞吐吐地道出原委。趙構越發惱怒，將她斥出，賜第別居，永不再召見。並連坐王繼先，貶其福州居住，停子孫官。

韋太后的侍婢楊氏未活到南歸後次年元旦。紹興十二年歲末，楊氏年滿六十，韋太后在慈寧宮為其慶生辰，趙構亦賜御酒一壺及金帛若干相賀。楊氏謝恩領受，欣然飲下御酒後當夜便無疾而終，「含笑九泉」。

趙構此後向太后宮人下旨道：「為太后壽考康寧計，今後慈寧宮中大小事均直接稟告朕，勿與太后商議，以免太后煩心。」

楊氏既死，韋太后的生活頓時歸於沉寂。終日身著素袍獨守青燈古佛，不苟言笑，只念佛誦經。雖趙構常命人供進財帛於太后宮，她亦無心去用，節儉度日，所得財帛大多閒置於庫中。也極少與宮中人往來，惟準嬰茀每日入省。嬰茀順適其意，曾親手繪一卷《古列女圖》，將太后繪於其中，又取《詩序》之義，為太后佛堂匾額題字「賢志」。

紹興二十六年十月，尚書右僕射万俟禼上《皇太后迴鑾事實》。臣下呈書於太后時亦選取大批禮物一併奉上，韋太后悉數退出不受，趙構遂向群臣大讚太后儉德，道：「宮中用不上這許多禮物。皇太后今年七十七歲，而康健如五六十歲，皆因德行感天之故。這等福澤自古帝后都未嘗有。」

韋太后每年生辰趙構都會為她隆重慶祝，並不忘同時宣揚她的年歲高壽。凡見過太后的人都訝異於她遠比年齡年輕的容貌，隨即不免對她的德行福澤又有一番感慨稱頌。

太后身體也一直較為康健，只是眼睛越來越不好，視物日益模糊，到後來有一目近乎失明。見御醫對太后目疾束手無策，趙構便在國中遍尋良醫。紹興二十八年，臨安守張偁推薦一位善風鑑之術的蜀人皇甫坦為太后治病。趙構召其問如何醫治，皇甫坦答道：「心無為則身安，人主無為則天下治。」趙構聽後若有所悟，引他入慈寧宮為太后用其術。太后目疾漸好，趙構大喜，厚賞皇甫坦財物，皇甫坦一無所受，辭謝而去。

但韋太后眼明心靜的日子亦未過多久，紹興二十九年九月庚子，皇太后韋氏手持一串佛珠崩於慈寧宮寢殿。

太后在世時，一直希望趙構能有親生皇子繼承皇位，故始終不允許趙構正式確立養子皇子身份，更不願他立養子為儲。而在趙瑗與趙璩二子中，她也更喜歡璩，對趙構更為鍾意的瑗毫無援立意。

紹興十五年二月，在韋太后與吳後的促進及與趙瑗不和的秦檜慫恿下，趙構加封趙璩為檢校少保，進封恩平郡王，出宮外居。一時璩與瑗併為郡王，地位平等，諸臣私下稱之為「東西府」。

紹興二十五年十月，秦檜病重。他與家人及黨羽商議，決定封鎖訊息，企圖由其子秦熺代其繼續把持朝政。趙瑗聞訊立即稟告趙構，於是趙構親赴秦家，以探病為名驗其虛實。秦檜不發一言，惟涕淚交流。秦熺奏問代居宰相為誰，趙構答：「此事非卿所應預聞。」隨後拂袖出室，乘輦還宮，當晚便召權兵部侍郎兼權直學士院沈虛中草擬秦檜父子致仕制（即因年老解官的手續文書）。秦檜見陰謀不成，憂懼不已，於失望中嚥氣離世。

經此一事，趙構更為賞識趙瑗，也更著意考驗。趙瑗不喜聲色，郡王府中姬妾寥寥。某日趙構召趙瑗與趙璩入宮，賜他們宮女各十人。未過許久又將這些宮女召回，命人檢視，見賜給趙璩的宮女已非處女，而入趙瑗府中的那些尚完璧如初。趙構雖就此未置一辭，但心中已有定論。

太后崩後，趙構有意詢問皇后嬰茀於立儲一事的意見，嬰茀微笑答：「普，即‘並日’二字。普安，其天日之表也。」趙構遂一笑，於紹興三十年二月御筆付三省：普安郡王瑗可立為皇子，更名瑋。數日後，進封皇子為建王。

紹興三十一年五月甲子，詔立建王瑋為皇太子，更名昚。

六月丙子，詔皇太子趙昚即皇帝位，是為孝宗。趙構改稱太上皇帝，與太上皇后吳氏退居德壽宮。