長孫無忌聞言，冷然一笑。他知道，機會來了。
在長孫無忌的運作之下，有官員彈劾房遺愛口出悖言，涉嫌謀反。李治只好讓鴻臚寺少卿來徹查此事。
隨著調查的漸漸深入，數名人證出來指證房遺愛。這一下子，房遺愛等人脫不了干係了。
而長孫無忌繼續拷問諸人，指示那些被關押在大牢中的人胡亂攀咬，李恪、李道宗、李道玄、李元景等一大批皇室宗親盡被這些人攀咬住。
面對這種情況，李績卻是沉默不動，不管閒事。張允文終於坐不住了，上門拜訪長孫無忌卻被拒之門外之後，立刻前往皇宮，和李治、武媚娘商議此事。
雖然長孫無忌還沒有將此事稟報上來，但是張允文已經得知了。
張允文對李治說道：“吳王英果，素為長孫大人所忌；道宗、道玄二位王爺乃是國之大將，陛下臨終託孤，微臣與之等執掌北衙大軍，以保關中安寧，豈可輕動？且二人與長孫大人素有罅隙，乃成今日之禍，不可聽之任之！”
旁邊的武媚娘也跟著幫腔。在李治點頭之後，張允文動用了調查院的手段，將那些胡亂攀咬的供詞盡數銷燬，並且悄然傳話於房遺愛、柴令武等人，說是若是想要活命，不要胡亂攀咬。
聽了這話，這些人不由猶豫起來。
後來在鴻臚寺的人上奏調查結果時，卻發現供詞不在，案犯反口。長孫無忌面沉如水，公然說道：“此案尚有疑點，單憑如此些人，如何謀反？定有同黨勾連！微臣建議，重審此案，以正視聽！”
此言一出，李治的臉也頓時沉了下來，他沉聲道：“長孫大人，朕看此事不必再查了！既然已經如此，那就這樣這樣吧！”
而褚遂良趕緊上來為長孫無忌幫腔，說道：“陛下，微臣亦認為此事尚有未解之處，如謀反之時如何發動，何人以作呼應，等等，所以，還請陛下下令，重審此案！“
見到這種情形，張允文只好讓王玄策、張文瓘等人出面，反駁長孫無忌和褚遂良。由於李治聽信張允文話語在先，所以，李治對於長孫無忌和褚遂良的話語不以為然。
最終，房遺愛等人被判流放嶺南，遠沒有達到長孫無忌想要的效果。
至此，長孫無忌恨上了張允文及其身邊之人，一有機會，便大加攻擊。
一年之後，李治在朝會之上，提出立武媚娘為皇后。這個建議遭到了王家官員為代表的山東士族和長孫無忌的激烈反對。朝中，只有身為武媚娘義兄的張允文明確支援。就連張文瓘的態度都是模稜兩可。
但是，有張允文在外朝為其張目，而後宮方面，武媚孃的手段又沒的說，幾次下來，直讓李治立武媚娘為後之心，更加堅定了。
到永徽六年初，李治終於不顧群臣進諫，將武媚娘推上皇后之位，將原來的王皇后貶為庶人。
而那些反對李治立後的大臣，褚遂良等長孫無忌黨羽被李治流放嶺南，斷了長孫無忌的左膀右臂。
當詔書發出之時，長孫無忌看著李治，眼中帶著絲絲悲涼和欣慰。從那天之後，長孫無忌逐漸讓出了一部分權力，看著自己提拔的親信被李治一個個外調，又從外面調來一些年輕而陌生的人，充實各部門。
武媚娘登上皇后之位後的兩年，便令許敬宗等親信構陷長孫無忌無忌等人，準備將長孫無忌黨羽一網打盡。
這時候，張允文再次出面，在武媚娘面前保下了長孫無忌。說殺長孫無忌對與武媚娘而言，有百弊而無一利，上位之後，即殺長孫無忌，讓李治和眾朝臣如何做想，豈不是會認為她武媚娘不過一心胸狹窄之輩，到時候，不滿之人，恐怕更多！與其如此，不如放過，給朝臣和眾世家留下好印象，以穩皇后之位。反正現在長孫無忌的權力正在一點點被李治收回。最後，還請