他的理由是，四方館存放著許多重要的典籍和檔案，如果讓一個病人住進去，於禮不合，所以堅決推辭。玄宗一聽就急了：「設立四方館，是方便各國的朝貢使節；讓你住進去，是有利於社稷。朕恨不得讓你住到宮城大內來，區區四方館，有什麼好推辭的？」

史書沒有記載姚崇後來是否住進了四方館，但是有一點是可以肯定的——就算他住進去了，沒過幾天就得再搬出來。

因為他的仕途到頭了。

導致姚崇下臺的表面原因，出在他的兩個兒子和一個下屬身上。

姚崇長子名姚彝，官任光祿少卿（主管宮廷膳食的副部長）；次子名姚異，官任宗正少卿（主管皇族事務的副部長）。姚崇為官，對自己還是比較高標準嚴要求的，只可惜對兒子管教不嚴。這倆小子仗著父親是皇帝最倚重的首席宰相，長期「廣通賓客，頗受饋遺」，幾年前就曾因請託魏知古而差點惹出禍端，幸賴姚崇機警，才沒出事。但他們卻沒有因此收斂，而是照舊我行我素，招權納賄，因而頗受當時輿論譴責。

除了對兒子缺乏管束，姚崇對自己的親信下屬也過於縱容。他有個秘書（主書，從七品）名叫趙誨，收受胡人的賄賂，不料沒多久就被人告發了。玄宗對此案極為重視，親自審問，結果發現案情屬實，遂將趙誨逮捕下獄，並判處了死刑。

本來此案與姚崇並沒有直接關係，充其量也就是負一些間接的領導責任而已。怎奈姚崇聰明一世糊塗一時，竟然出面營救，由此令玄宗大為不悅。不久，朝廷恰好要大赦，玄宗看在姚崇的面子上，特別在大赦詔書中標出趙誨的名字，下令免其死罪，杖打一百，流放嶺南。

儘管皇帝給足了面子，可姚崇還是不無痛苦地意識到——經過這件事之後，自己在玄宗心目中的形象已經大打折扣了。倘若不在這個時候急流勇退，萬一兩個兒子貪贓納賄的事實再被揭發，那後果真的是不堪設想。

思慮及此，憂懼不安的姚崇不得不向玄宗提出了辭職請求，而且提出了不止一次。

同時，姚崇還向玄宗鄭重推薦了一個人，作為自己的繼任者。

他就是時任廣州都督的宋璟。

開元四年閏十二月，玄宗接受了姚崇的辭職請求，免除了他的宰相之職，改任開府儀同三司，同時將源乾曜罷為京兆尹、西京留守。

姚崇被罷相一事，乍一看似乎有些不可理喻——就因為一個七品小文書受賄，便罷免了一個兢兢業業、精明強幹、對帝國政治有著突出貢獻的宰相，是不是有些小題大做了？

其實，無論是趙誨的枉法求財，還是姚崇兩個兒子的招權納賄，都不是導致姚崇下臺的真正原因。道理很簡單，打狗也要看主人。倘若玄宗仍然倚重姚崇，仍然寄望於他在宰相任上多做一些貢獻，那麼就算趙誨和姚氏兄弟殺人放火，姦淫擄掠，只要他們不是陰謀造反，玄宗都大可以睜一眼閉一眼，又何必非把姚崇的宰相烏紗摘掉不可呢？

所以，真正的原因其實是——玄宗本來就已經有了罷免姚崇之意，趙誨受賄的事情，只是恰好讓玄宗拿來當一個藉口罷了。

在趙誨一案中，有一個耐人尋味的細節，足以讓我們窺見玄宗的真實意圖。那就是，當趙誨東窗事發時，玄宗居然以天子之尊親自審問他，這顯然是不合常理的。如果不是玄宗存心要抓姚崇的小辮子，一個小小七品文書的受賄案，又何須勞駕他皇帝大人親自出馬？

所以，我們完全有理由認為，玄宗這麼做，目的就是要敲山震虎。

換言之，就是故意抓一條狗來打，讓主人瞧瞧顏色。

可是，姚崇一直在宰相任上幹得好好的，玄宗為什麼忽然要把他擼了呢？

這就要涉及玄宗的用人之術了。

玄宗任用宰相的原則，基本上可以用六個字概括：專任而不久任。

所謂專任，就是一改大唐立國以來的集體宰相制，把宰相名額控制為兩個，並且一個為主，一個為輔。比如玄宗先後為姚崇配備的兩個副手，前面的盧懷慎就被稱為「伴食宰相」，後來的源乾曜同樣也是唯唯諾諾；姚崇卸任後，宋璟繼任首席宰相，他的搭檔蘇頲照舊是陪襯人物。這種綠葉配紅花的用人原則，正是玄宗刻意為之的。他的目的，就是要把朝政大權全部集中到首席宰相一個人手上。

之所以要實行這種專任制，是因為玄宗親政後，所面臨的是一個「百廢待舉」的政治局面，所承擔的主要歷史任務就是「撥亂反正」。因此，只有讓一個能力突出的宰相獨攬朝綱，才能集中力量辦大事，避免集體宰相制下常見的掣肘、推諉、扯皮等低效現象。

但是專任制也有兩大副作用：一是宰相大權獨攬，最終必然導致皇權受到威脅；二是一人執政必然導致整個政治運作過多地帶上個人烙印，從而日久生弊。而要消除這兩個副作用，最簡單也是最有效的辦法就是——不要讓這個手握大權的宰相干太久。

從這個意義上說，姚崇被罷相絕不是偶然事件，而是玄宗深思熟慮的結果。

姚崇雖然離開了帝國的政治中樞，但是在後來的幾年裡，玄宗對他依舊禮遇甚隆，仍令其「五日一朝，入閣供奉」（《資治通鑑》卷二一一），在許多大政方針上還是要徵求他的意見。

開元九年（西元721年），姚崇病逝，享年七十二歲，死後贈揚州大都督，諡號「文獻」。

姚崇在任三年多，時間雖然不長，但卻與玄宗君臣同心，密切配合，共同開啟了清明、高效、務實、儉樸的新政風，終結了自神龍政變以來混亂不堪的政治局面，把帝國引上了一條健康的發展軌道，為盛世的來臨奠定了堅實的政治基礎。

作者「王覺仁」的其他小說

《三國不演義》《大唐興亡三百年（第五卷）》《大唐興亡三百年（第七卷）》《大唐興亡三百年（第六卷）》《大唐興亡三百年（第二卷）》《蘭亭序殺局（第1冊）》《大唐興亡三百年（第三卷）》《大唐興亡三百年（第一卷）》