第二年春天，叛軍發生內訌，安祿山的兒子安慶緒殺了安祿山，自己稱帝。要消滅叛軍，這本來是個好機會。但是肅宗急於回長安，不聽李泌的計劃，把郭子儀的人馬從河東調回，強攻長安，結果打了一個敗仗。後來，郭子儀借了回紇（我國古代北方民族之一，紇音hé）的精兵，集中了十五萬人馬，才把長安攻了下來。接著，又收復了洛陽，叛亂頭目安慶緒逃到河北，史思明也被迫投降。

唐軍收復了長安和洛陽，唐肅宗覺得心滿意足，用駿馬把李泌接到長安。

唐肅宗的寵妃張良娣和宦官李輔國，嫌李泌權大，早就互相勾結，想把李泌除掉。

太子李俶發現張良娣他們想害李泌，就告訴了李泌。李泌說：「不打緊。我和皇上有約在先，等收復京城，我就歸山，就沒有事了。」

這回，李泌見唐軍收復兩京，算是了卻一個心願，決心離開朝廷。

有一天晚上，唐肅宗請李泌喝酒，並且留他一起睡。李泌趁機會就對肅宗說：「我已經報答了陛下，請讓我回家再做個閒人吧！」

唐肅宗說：「哎，我和先生共了幾年患難，現在正想跟您一起享受安樂，怎麼您倒要走了呢？」

李泌懇切地說：「我和陛下結交太早；陛下太重用我，信任我。就是因為這些緣故，我不能不走。」

唐肅宗說：「今天先睡吧，隔天再說。」

李泌說：「今天我跟陛下坐在一個榻上談話，你不答應我。將來到了公堂上面，就沒有我說話的餘地了。如果你不讓走，那就等於殺我了。」

唐肅宗雖然不願讓李泌離開，但是經不住李泌一再請求，只好同意。

李泌到了衡山（在今湖南省），在山上造個屋子，重新過他的隱居生活。

李泌走了以後，唐肅宗身邊少了一個正直的大臣，李輔國等一批宦官的權力就大起來了。