唐玄宗被嗆得半天說不出話來。＇4＇
過了一年多，張九齡與唐玄宗又起衝突，原因仍然是官員的任命。這次皇帝要獎勵的是河西節度使牛仙客，因為他節約開支，勤於政事，讓防區之內兵強馬壯氣象一新。玄宗正需要這樣的人才，所以提出給他加封尚書的頭銜。
張九齡照例反對。
其實張九齡與牛仙客並無個人恩怨，反對的原因也僅僅由於在他看來，宰相和尚書應該是像他這樣計程車大夫，而不該是長期在地方上工作的基層幹部，更不該是軍人。因此他極其傲慢地說：牛仙客當了尚書，朝廷會因之蒙羞。
玄宗只好讓步：封個爵位總可以吧？
張九齡說：那也不行。爵位是用來獎勵功臣的。牛仙客只是做好了本職工作，哪有功勞可言？陛下如果一定要予以嘉獎，多賞些金銀財寶就可以了。
皇帝終於忍無可忍，勃然變色說：天底下，難道什麼事情都得由你說了才算嗎？
張九齡跪倒在地說：臣愚蠢，不敢不實話實說。
玄宗皇帝一聲冷笑：你口口聲聲講資格，嫌牛仙客出身卑微上不了檯面。那麼請問，你自己又是什麼門第？
張九齡說：牛仙客生於中原，是華夏正宗，確非臣這嶺南邊鄙野人可比。但，臣在朝廷畢竟任職多年，牛仙客卻是邊境小吏，胸無點墨，又豈能擔當重任？
玄宗皇帝恨得牙齒髮癢。＇5＇
實際上這次皇帝發怒是有原因的。此前，為了從洛陽還都長安，他就跟張九齡鬧得很不愉快。玄宗希望儘快，張九齡卻堅持等到入冬，理由是當時正值秋收。這件事最後是靠李林甫解決的。李林甫私下裡對皇帝說：長安和洛陽不過是陛下的西宮和東宮，想住就住，挑什麼日子？
封賞牛仙客的事也如願以償。這同樣因為李林甫私下裡對皇帝說：只要有才幹，何必一定要會寫文章？何況用人乃天子之權。天子想用誰就用誰，用誰不是用？＇6＇
玄宗皇帝很高興。
老天爺也似乎要幫李林甫的忙。離開洛陽那天，長安發生地震。玄宗趁機免去兩京當年的賦稅，又提拔獎賞沿途地方官員，赦免罪犯，於是一路聽到的都是歌功頌德。
更湊巧的是，回到長安不久，洛陽也地震了。這就讓玄宗認為，他和李林甫的決定是正確的。而且，按照“天人合一”的理念，地震意味著宰相不合格，應予罷免。＇7＇
張九齡卻不知道自己危在旦夕，依然我行我素，結果由於為某個涉案官員辯護，而被認為是結黨營私。更何況在廢立太子的問題上，他也與玄宗意見相左，終於讓皇帝下定決心搬走這塊擋路的石頭，將他和裴耀卿一起罷免。＇8＇
推波助瀾的，當然又是李林甫。
實際上張九齡並無意於爭權奪利，他甚至寫了一首名為詠燕的詩送給李林甫。在詩中，張九齡以燕子的口氣表明了自己的心跡：無心與物競，鷹隼莫相猜。＇9＇
可惜，鷹隼並不會因為燕子與世無爭就不下手。李林甫既然要大權獨攬，就不會放過張九齡和裴耀卿。於是，並未與張九齡結黨的裴耀卿，也只好成為城門失火之時被殃及的池魚。據說，宣佈任免決定時，兩位前宰相悲憤難言，李林甫洋洋得意，旁觀者則竊竊私語說：一雕挾兩兔。＇10＇
是的，李林甫笑了，笑得又陰又冷。
＇1＇見兩《唐書》之張九齡傳。
＇2＇見兩《唐書》之裴耀卿傳，《舊唐書·食貨志下》，《資治通鑑》卷二百一十四開元二十二年七月、八月條。
＇3＇見《舊唐書》卷一百八十八，《資治通鑑》卷二百一十四開元二十三年三月條。
＇4＇見《新唐書·張九齡傳》，《資治通鑑》卷二百一十