張九齡道：「現太子為皇長子，並無過錯，也英偉、聰慧。這樣無故廢立太子，不是違背唐制嗎？」

李林甫道：「愚下認為，聖上要廢太子李瑛，立壽王李瑁，原因不在誰英偉、聰慧，而在他們母親的貴賤。原太子的生母趙麗妃，妓女出身，在宮中的級別不算高；而壽王生母武惠妃，很受聖上寵愛，在宮中的級別等同皇后。皇上因寵愛武惠妃而愛壽王，想立他為太子。」

張九齡問：「李大人持什麼意見呢？」

李林甫裝作謙虛道：「說來慚愧，林甫自幼讀書甚少，知道歷史不多，又見識短淺，所以特來與老相國商量。」他很圓滑，並不拿意見。

張九齡一笑道：「李大人哪裡是來與老朽商量，是想把老朽推在刀鋒槍尖上，是不是？」

李林甫笑了，不好意思地道：「讓老相國見笑。聖上已傾向他們的意見，要使聖上改變主意，必須與聖上針鋒相對地爭辯，林甫沒那樣的辯才，也沒那樣的膽量……」

張九齡道：「這麼說，李大人是與老朽意見一致了？裴相到底持什麼意見呢？」

李林甫道：「裴相沒說。愚下以為，要與天子去諍辯，代表的人越多越好，連裴相也拉上，才顯出我們勢眾。」

張九齡道：「這樣不妥吧，在廢立太子這件事上，裴相既與我們意見不同，何必拉他去呢？我們是去講理，又不是去打仗……」

李林甫道：「老相國去找斐相，他若不去，這不是就亮出他的意見了嗎？他若意見與我們相反，就先和他辯論，把他辯服了，再拉他。他若肯跟我們去，為了勢壯，就拉他去，不管他內心怎麼想。」

張九齡想了想道：「也好。只要能使聖上改變主意，保住太子位就行。」

李林甫告辭張九齡回府，立即就把張九齡想阻立壽王為太子的事，派人去告訴武惠妃，以便武惠妃想對付張九齡的辦法。

李林甫走後，張九齡就去找裴耀卿溝通思想。

裴耀卿道：「太子是國之根本，太子未見過惡，怎能輕易更換呢？」

張九齡訝然看著裴耀卿道：「裴大人也持這樣的意見？！」

裴耀卿道：「難道老相國主張換太子嗎？廢長立幼，可是國之不祥啊！」

張九齡道：「不，我的主張與裴大人相同。我們二人是否可以共同去諫阻此事？」

裴耀卿道：「裴某不才，願與老相國同往。不過老相國德高望重，博學多才，諫君之事，還得靠老相國。」

張九齡道：「我們各盡其力好了，老朽面諍義不容辭。」

第二天早朝罷，明皇留下張九齡，對他說：「太子李瑛和鄂王、光王，網羅黨羽，想謀害惠妃娘娘和壽王。朕打算廢了李瑛和鄂王、光王，另立太子，特留下老相國商量。」

原來，明皇當臨淄王時，寵趙麗妃、皇甫德儀、劉才人。趙麗妃生太子李瑛，皇甫德儀生鄂王李瑤，劉才人生光王李琚。明皇即帝位後，寵武惠妃。武惠妃生的壽王李瑁，得明皇格外寵愛。壽王儀容美、聰明多才，明皇有立為太子之意，近侍皆知。

太子和鄂王、光王三皇子，都因母親失寵，心中不平，常在一起發牢騷。武惠妃生的咸宜公主，嫁駙馬都尉楊洄，楊洄欲助壽王為太子，常暗中蒐集三皇子的過失，密報武惠妃。一次，三皇子聚在一起發怨言，被楊洄偵知，密報了武惠妃，在明皇到寧秀宮進幸時，武惠妃添鹽加醋地說三皇子聚在一起怨皇上，詛咒皇上，並誣三皇子要謀害她和壽王。

明皇聽了大怒，產生了廢黜三皇子的打算。

張九齡聽了明皇的話道：「聖上垂詢，臣代表裴耀卿、李林甫說說我們的意見。陛下登上皇位已近三十年了，太子和諸王都沒離開過深宮，每天都受到聖上的訓誡、教誨，天下的人都慶幸聖上治理有方，聖上能教化萬民。三皇子是聖上親骨肉，又親承雨露，怎能不受教化？現在三個皇子都已經是成年人了，沒聽說有什麼過錯，陛下為什麼要聽那些無稽之言，以一時的怒氣，把三皇子一齊廢掉呢？天下人都說聖上在位長久，子孫繁盛，是上天福佑，聖上這樣做，不是違背上天之意嗎？」

明皇沉默了許久道：「可是……不廢他們，他們再危害朕和別的皇子……」

張九齡道：「聖上春秋正盛，而且英明天縱，聖上如日中天，君臨天下，他們怎能危害聖上和別的皇子呢？請聖上三思，不要輕信謠傳。」

明皇不語。

張九齡道：「太子是天下的根本，不可輕易動搖他的地位。春秋時晉獻公因聽信驪姬的讒言，而殺了太子申生，引起晉國三世大亂；漢武帝因為相信江充的誣告，殺了太子劉據，使京城發生了流血事件；晉惠帝因為相信賈后的話，廢了愍懷太子，使五胡亂華，中原塗炭；隋文帝聽信了獨孤皇后的話，廢太子楊勇而立楊廣，以致失掉天下。以上事例，均為殷鑑，請陛下對廢立太子事，要謹慎對待。陛下如果一定要廢三皇子，我們不能遵命。」

明皇道：「裴耀卿、李林甫真的與張愛卿意見一致嗎？」

張九齡道：「是，他們推臣為代表。」

明皇道：「這件事等朕考慮考慮再決定。」

張九齡從宮中回來，剛脫了官服要休息，忽然寧秀宮監牛貴兒來見。

明皇朝常以太監為欽差、使者，所以太監權勢很大。牛貴兒只是個寧秀宮太監，官吏們便要巴結他。張九齡清耿，不去迎他，也說：「請進！」

牛貴兒大模大樣地進來，只對張九齡一揖道：「老相國好。」

張九齡道：「牛公公坐，有事嗎？」

牛貴兒坐了，對張九齡道：「本監遵惠妃娘娘懿旨，來向老相國致意。」

張九齡為官多年，非常精明。牛貴兒說奉武惠妃之命而來，他就猜出是為什麼而來了。但他故意問道：「武娘娘深居後宮，不予朝政，有什麼事要吩咐下官呢？」

牛貴兒道：「惠妃娘娘千歲，有一事求助老相國……」

張九齡道：「牛公公請講。」

牛貴兒道：「娘娘千歲想……想請老相國助壽王為太子。」

張九齡道：「廢立太子之計，在聖上，臣下怎能參與意見？」

牛貴兒道：「娘娘知道老相國望重，聖上必與老相國商量此事。娘娘說，壽王如因老相國之言為太子，老相國可永為宰相。」

武惠妃接了李林甫的密報，知道廢立太子之事是張九齡在中間作梗，就派牛貴兒來傳話。

張九齡道：「胡說！廢立太子，乃朝廷大事，惠妃娘娘怎能參與？廢立太子在聖上，在朝臣公議，張九齡不敢行私！」

牛貴兒道：「老相國，你不聽惠妃娘娘的話，對你可沒什麼好處！」

張九齡怒道：「混賬！你威脅本相嗎？！來人，將他拿下！」

相府有不少侍從、護衛，張九齡的話音剛落，幾個侍從、護衛立即進來，將牛貴兒拿下。牛貴兒有恃無恐，身被綁了，口中不住地亂罵。

張九齡坐了轎子，帶著牛貴兒去面聖。

「廢太子，立壽王，本來就是個陰謀，請聖上明察！」見了明皇，張九齡道：「寧秀宮太監牛貴兒曾到臣府，對臣威脅利誘，要臣助壽王為太子。臣把牛貴兒押來，請聖上審問。」

明皇怒道：「把牛貴兒押上殿來！」

武士把牛貴兒押上殿。牛貴兒見明皇動怒，不敢抵賴，把受武惠妃之遣去威脅利誘張九齡的始末全說了。

明皇大怒，吩咐武士把牛貴兒拉出殿外殺了。

明皇雖知廢三皇子、立壽王為太子是武惠妃的陰謀，但是仍對三皇子不滿，想廢了他們。

明皇私下問裴耀卿，裴耀卿道：「太子的廢立，應讓群臣公議。聖上若只徵求臣的意見，臣以為太子無必廢之過，不同意廢太子，另立他王。」

明皇私下問李林甫，李林甫卻道：「廢立太子，是聖上之家事，外人不該管這件事。張九齡、裴耀卿管聖上的家事，是眼裡沒陛下，不知自己權之大小了！」

明皇問：「張相國不是說他的意見，也代表你嗎？」

李林甫辯道：「臣雖無才，但不像他那樣糊塗，管聖上的家事。臣根本就不同意他的意見，他不能代表臣。」

明皇對張九齡很不滿，從此開始疏遠他和裴耀卿，已隱蓄罷免他們之意。

張九齡不知明皇對他已存厭惡感，遇事仍和明皇持不同意見，致使君臣裂隙越來越大。

李林甫引薦心腹肖炅為戶部侍郎。肖炅缺少文才，不學無術，有一次在中書侍郎嚴挺之面前，把「伏臘」讀成「伏獵」，嚴挺之輕視他，對張九齡說：「尚書省怎麼能容‘伏獵’侍郎呢？」

張九齡過去就認識肖炅，一日，送芋頭給肖炅，書稱賜「蹲鴟」，因芋形似蹲鴟，而以之為號。肖炅不知，回書答曰：「惠芋拜嘉，惟蹲鴟未至，然寒家多怪，亦不願見此惡鳥也。」張九齡嫌肖炅知識少，也輕視他，於是把他調出京城，貶為岐州刺史。

從此李林甫怨恨嚴挺之和張九齡。

嚴挺之素來傲氣，看不起李林甫的為人，有事也不去拜訪他。李林甫因此對他更恨，常想報復。

嚴挺之先前的妻子元氏，被他休了。元氏改嫁蔚州刺史王元琰。王元琰因為貪汙罪，被逮捕，交大理寺審問。嚴挺之受元氏託，到大理寺去詢問王元琰的案情。

李林甫知道了這事後，就指使人上書，嚮明皇彈劾嚴挺之與王元琰有私情。

明皇對張九齡說：「嚴挺之在刑部為罪犯活動，是有私情，該受罰。」

張九齡道：「王元琰娶的是嚴挺之已休的妻子，二人並沒私人感情，王元琰若有罪，他不會為他徇私情，不該受罰。」

明皇暗想：讓你當宰相，沒有一件事不和我唱反調！於是生氣地道：「嚴挺之與王元琰沒私情，他到大理寺去做什麼？你分明在庇護黨羽！」

裴耀卿道：「老相國一向清正耿直，只是據理言事，不是在庇護誰。」

明皇怒對裴耀卿道：「你們這是同黨相護吧！」於是立刻宣佈：罷張九齡、裴耀卿平章事，只任左右丞相。張九齡的中書令一職，由李林甫替代，又封牛仙客為工部尚書，同中書、門下三品，同時，貶嚴挺之到川地為刺史，流放王元琰到嶺南。

至此，李林甫陷害張九齡的陰謀，到底得逞了。