次日趙構在朝堂上宣佈了道君皇帝駕崩的訊息，未待說完便慟哭失聲、哀不自勝。群臣紛紛出言勸慰，而趙構神色始終戚鬱。張浚見狀遂邁步出列，奏道：「天子孝義之表現，不與士庶相同，凡事應以宗廟社稷為重。如今道君皇帝梓宮未返，天下塗炭，臣願陛下揮涕而起，拼將一怒化作中興雄心，恢復中原，以安天下之民。」

趙構這才略微止住，鬱郁頷首，命張浚草詔將此訊息告諭天下。張浚又請命讓諸大將率三軍發哀服喪，趙構讚許地看他，當即答應。

此後趙構一面準備移蹕建康，一面與張浚密議削奪諸將兵權的事，其間對張浚信任無比，賜諸將的詔書，往往命張浚擬進，閱後即發，未嘗易一字。紹興七年二月，趙構與張浚商議後任命岳飛為湖北京西宣撫使，並將一道寫著「聽飛號令，如朕親臨」的御札交予岳飛，讓他帶去頒發給劉光世的部將，借岳飛的聲望穩定劉光世統領的淮西軍之軍心，並消除岳飛及其餘諸將對朝廷要罷他們兵權的疑忌。

岳飛起初以為這是將淮西軍並給他統領，自是喜不自禁，很快向張浚提出再要部分兵卒，讓他統兵十萬大舉北伐的請求。此言一齣，張浚與趙構均大不悅，趙構回應道，淮甸之兵乃駐蹕行在的保障，不可輕移，若淮甸失守，朝廷何以存身？

紹興七年三月，劉光世被罷去兵權，淮西軍也未移交給岳飛，而改作直屬於張浚主持的都督府，由兵部尚書兼都督府參謀軍事呂祉以撫慰諸軍為名前往節制，並升劉光世的部將王德為都統制，流寇出身的另一部將酈瓊為副都統制。

此前張浚曾與岳飛商議過淮西軍的統領問題，張浚逐一問岳飛誰來接管最為合適，先說：「淮西軍一向敬服王德，如今我想讓他做都統制，再命呂祉為督府參議前去領導，你看怎樣？」

岳飛搖頭道：「王德與酈瓊素有積隙，一旦王德地位高過酈瓊，勢必引發兩人爭鬥。呂尚書雖有才，但畢竟是書生，不長於軍事，恐不足以服眾。」

張浚便又問他：「張俊如何？」

岳飛更是一向看不起張俊，立時否定：「他性情暴戾，有勇無謀，而且酈瓊本來就不服他。」

張浚再道：「那麼楊沂中應該可以了。」

岳飛還是不同意，說：「沂中視王德等同於己，豈能馭之！」

聽得張浚頗為惱怒，怫然冷道：「我早就知道非太尉你不可！」

岳飛的脾氣也隨之而起，反駁說：「都督認真地徵求我意見，我不敢不直陳愚見，豈是為多得兵馬！」即日便上疏乞解兵柄上廬山為母守墓，趙構不許，岳飛卻不管，讓本軍事務官張憲攝軍事，自己撂下挑子徑直上廬山了。

岳飛走後張浚即命兵部侍郎張宗元權湖北、京西宣撫判官，前往鄂州監岳飛軍。無奈岳家軍並不服他管，兵卒日日沮喪嘆息：「張侍郎已來，嶽將軍大概不會回來了！」既懷念岳飛，對張宗元便越發牴觸，士氣低落，漸漸不大聽號令。

趙構對岳飛擅自上山守喪已是十分不滿，聽到這些事更是極度震怒。張浚入見，建議趙構就此罷去岳飛兵權，讓張宗元正式取而代之。趙構負手低首在殿內大步疾行，良久，停在張浚面前，兩眉深鎖面色冷峻：「不，現在時機未到。」

隨即重新落座於御案邊，親自提筆寫下手詔：「許卿以恢復之事。」命張浚遣人傳給岳飛，促他早日下山統軍。

張浚展開一看，見他寫詔書之時分明滿面怒色，但寫下的字仍沉著渾厚、寬穩疏朗，灑脫清逸中不透半點惡劣情緒，當下佩服之餘亦暗暗心驚。

張浚讓參議官李若虛與統制官王貴帶著詔書前往江州，敦請岳飛歸來管軍。二人在東林寺見到岳飛，傳達了趙構旨意，岳飛才受詔趕赴行在。

至行在建康後，岳飛具表待罪，趙構卻似毫不惱怒，心平氣和地加以撫慰勸導。岳飛啟程回去統軍那日，趙構親自出宮送他，溫言對他說：「卿前日奏陳稍顯輕率，但朕並未因此發怒。若真怒了，必會怪罪責罰於卿。正如太祖所說的那樣，‘犯吾法者，惟有劍耳’。現在朕復令卿統軍，任卿以恢復中原之事，可知朕確無怒卿之意。」

岳飛聽了此話，遂放下心來，再度表明忠君愛國之心，才辭別趙構迴歸軍營。

岳飛以前對酈瓊與王德關係的分析沒錯，王德升為都統制後酈瓊每每與其作對，終日聯合部將在呂祉面前誣告控訴王德，呂祉忍無可忍，於是密奏張浚，乞罷酈瓊兵權。張浚得知後遂決定召回酈瓊，奪其兵權，並處其死罪。不料訊息走漏，酈瓊先於八月發動兵變，殺死呂祉，率四萬多淮西軍投降了偽齊帝劉豫。

此次叛變震驚朝野，張浚立時成了眾矢之的，朝臣們都認為是他在淮西軍問題上處理不當才導致今日之禍。趙構亦被此事弄得焦頭爛額，對張浚雖未加指責，但很快手詔命令：「觀文殿大學士、兩浙東路安撫制置大使兼知紹興府趙鼎充萬壽觀使兼侍讀，疾速赴行在。」

是日，張浚入宮見駕。進到殿中亦不多言，在趙構面前跪下，伸手於頂徐徐取下烏紗，端端正正地擱於身前，俯首再拜，一舉一動恭敬而嚴肅。

趙構知是他主動請辭，又見他形容憔悴，原本清雋的臉上似一夜之間滋生了許多皺紋，不免感慨，嘆道：「卿何有此舉？朕並未怪罪於你。」