張浚聞後頗為不悅。趙鼎施政行事一向以固本為先，不喜冒進，繼續稱國內兵力未到完全可與敵抗衡的時候，目前還是以自守為宜。見趙鼎主張與自己格格不入，張浚便有了排擠趙鼎之心。

在張浚示意下，左司諫陳公輔很快進言奏劾趙鼎。趙鼎早知當下事態不利於己，遂屢次向趙構辭官求去。趙構亦知他是受張浚排擠才辭官，雖未極力挽留，但卻愀然不樂地對趙鼎說：「卿不必遠行，只留在紹興，朕他日有用卿處。」

紹興六年十二月壬寅，尚書左僕射、同中書門下平章事兼知樞密院事、都督諸路軍馬兼監修國史趙鼎罷，充觀文殿大學士、兩浙東路安撫制置大使，兼知紹興府。

紹興七年春正月癸亥朔，趙構接受張浚建議，在平江下詔移蹕建康，準備二月啟行。此後不久任翰林學士陳與義為參知政事，資政殿學士沈與求同知樞密院事。張浚改兼樞密使，並引薦秦檜入朝為樞密使。

一日晚張浚入宮面聖，趙構問起各將所領軍隊的近況，張浚蹙眉嘆息，說：「而今諸將雖禦敵有功，但多少都有些恃功而驕，未必總聽朝廷號令，且有把官兵變為私兵之勢。」

趙構追問詳細情況，張浚遂道：「陛下復國於危難之間，初年外受金人威脅，內有流寇、亂民興兵之禍，官兵數目有限，因此陛下默許諸將在平內亂時將國內流寇潰兵整編入伍，也是不得已之舉。現在這樣的雜軍漸漸集中到幾位大將麾下，控制多年，那些兵卒越來越不像官兵，只聽自己將領號令，倒更像是諸將的私兵。平日眾軍相稱必稱某姓某家之兵，張俊的叫張家軍，劉光世的叫劉家軍，岳飛的叫岳家軍，其餘楊沂中、韓世忠、吳玠、吳璘等人的軍隊亦莫不如是，長此以往，必將不利於朝廷調遣指揮。」

趙構頷首：「這些朕亦有耳聞。此外，朕還聽說，諸將以充實軍費為名，擅自以軍隊經商，侵奪國家財利。」

張浚道：「正是。陛下即位以來一向重視安撫嘉獎有功之將，常賜他們高官厚祿及土地財物，諸將中楊沂中、吳玠、吳璘及岳飛都官拜兩鎮節度使，張俊、劉光世、韓世忠甚至加至三鎮，諸將權勢漸增，行事也日趨囂張，不僅經商與國爭利，甚至有人還縱容麾下兵卒搶劫平民百姓，有損宋軍聲譽。國家中興固然需要武將建功，但一味扶持而不加以抑制，任其勢力坐大卻非朝廷之福，也有悖以文御武的祖宗遺訓。」

趙構細思片刻，再問他：「依卿之見，該當如何？」

張浚一拱手，道：「陛下，臣以為已到謀收內外兵柄的時候了。」

趙構淡看張浚，目光寧和，不露喜憂：「卿是宰相，又掌軍權，有些事可自行處理。」

張浚心領神會，躬身道：「謝陛下。」

與張浚議完事，趙構回到寢宮，卻見嬰茀面前跪著兩名侍女，嬰茀正在命內侍將她們各掌嘴二十。

趙構問緣故，嬰茀嘆道：「臣妾管教不嚴，宮中侍女又隨意說話，影響福國長公主清譽。」

趙構怫然問：「她們又說什麼？」

嬰茀說：「公主適才為官家煲了些蓮子湯，親自送去給官家，也許是見官家正在與張相公議事，便在門外等了等。但這些婢女當真可惡，看見後居然私下議論，說公主一直在門外凝神細聽，專注如此，必是因張相公的緣故……」

趙構早已聽得面色陰沉，再問：「關張浚何事？」

嬰茀答：「這兩個無知婢女又能說出什麼好話來？無非是說張相公治國有方，人才又好，所以公主見是他與官家議事，便聽得格外仔細……都是一些混話。官家終日憂國憂民，公主耳濡目染，關心一點國家大事也很自然，卻無端受這些賤人非議，臣妾當然應為公主責罰她們，掌嘴二十，應該不為過罷？」

趙構轉目凝視她，冷道：「掌嘴二十？輕了。杖責三十。」