上了勁兒，矛盾越鬧越大。到後來，兩人居然因一件小事，在唐高宗面前鬧得不可開交。杜正倫也是唐高宗一手提拔起來的，為了公平起見，唐高宗乾脆各打五十大板，將兩人同時貶官。
李義府被貶官後，李崇德立馬就將李義府的名字從族譜中除去，以示與他撇清關係。然而後來的事實證明，李崇德確實眼光短淺。還不到一年，武則天出於政治需要，就想辦法將李義府召了回來，讓他繼續當宰相。
返回權力中心後的李義府豈能容忍李崇德這樣反覆無常的做法？於是隨便找了個藉口，將他送進了監獄。可李義府依然覺得惡氣難消，乾脆來個更狠的，“勸”李崇德撞牆。誰知李崇德還真乖乖地撞了，而且撞得一命嗚呼。
李崇德莫名其妙地自殺，引起朝廷一片譁然。可是，唐高宗與武則天裝作不知此事，依舊對李義府寵信有加。
冒充望門貴族的計劃失敗了，李義府又想到了一個主意：想方設法幫兒子尋找一個望門貴族出身的媳婦。
想法很美好，現實卻很殘酷，所有望門貴族竟然沒有一個願意把女兒嫁到李家。
多次遭受打擊的李義府從此對望門貴族恨到了極點。顯慶四年，耿耿於懷的李義府忽然想到了一個睚眥必報的狠招，於是上書朝廷，希望重新編輯《貞觀氏族志》，並更名為《姓氏錄》。
《貞觀氏族志》編輯於太宗執政初年，其本意是要把血統來一個重新洗牌，淡去一些隋朝老貴族的身影，給庶族一個進階的機會，最重要的是把自己的李氏地位提高到至高無上的地位。
可是當《貞觀氏族志》的初稿呈上來時，太宗傻眼了，他的李姓仍然排在後面。相當生氣的太宗馬上責令重編，但重編後的結果是，除了將太宗一脈的李姓調到前面外，其他的只是做了一些換湯不換藥的文字修改。面對著這種根深蒂固的迂腐，太宗也只好作罷。
正因如此，當接到李義府的這份奏章後，唐高宗與武則天立即欣然同意，並且讓李義府做《姓氏錄》的主編。
唐高宗之所以支援，想法很直接，就是完成太宗未竟的事，至於武則天的支援，原因其實跟李義府差不多—她也是庶族出身。
《姓氏錄》出版後，以“七姓五望”為代表的貴族一片譁然，氣得七竅生煙，對李義府可謂切齒痛恨，而新貴們卻振臂歡呼，熱淚盈眶地感謝著李義府，高呼政府萬萬歲。
為了進一步打擊老牌貴族的氣焰，在編輯《姓氏錄》的過程中，李義府又上了一道摺子，希望透過立法，禁止原來的望門貴族相互通婚。
唐高宗同樣也給予批准，這個做法的意圖很明顯，就是逼這些貴族的少男少女和其他家族的男女通婚，以徹底打破他們高貴的血統。
為了顯示政府唯我獨尊的新氣象，李義府接著又給唐高宗上了一道摺子，希望將原來散發在大臣們手中的《貞觀氏族志》全部收回。經過這麼一系列調整，社會上追捧舊貴族的氣氛確實是淡了不少。
由於長期身居宰相高位，且被皇帝、皇后寵著罩著，紅得發紫的李義府自然難免行為出格。隨著時間的推移，唐高宗對他的一些舉動也產生了反感。
有一次唐高宗召來李義府，對他說：“李愛卿，朕最近常聽說你家人做事很不謹慎，朕也儘可能替你掩飾，你以後千萬要注意點。”
誰知狂妄成性的李義府第一反應卻是反問唐高宗：“這事是誰告訴陛下的？”
不用說，潛臺詞就是“回頭我一定要好好收拾他”。
唐高宗很不高興，說：“我是從哪聽來的，你就不要管了！”
按常理，唐高宗的話說到這份兒上，李義府至少應該做出一副接受教訓的謙虛姿態才對，哪怕是裝一下也行，可他卻沒有這樣做，而是完全把唐高宗當成透明