射，執掌朝政大權。
在高宗統治初期，李治刻意效仿太宗的所做所為，褚遂良他們確實取得了一些可觀的成就。但是，不久，他和膽小懦弱的高宗皇帝一起，正面對著一個更為強大、機敏和肆無忌憚的對手武媚娘，在這場權力鬥爭中，他們都成了失敗者。
在公元640年，只有十幾歲的武媚娘進入後宮，成為太宗的“才人”。她的美貌與才情不僅得到了年老的太宗的喜愛，似乎在同時也得到了年輕的太子的愛情。太宗死後，公元654年左右，曾經一度削髮為尼的武媚娘成為李治的妃嬪，並被封為“昭儀”，得到高宗的寵信，也得到一些大臣的支援。
在是否立武昭儀為皇后的鬥爭中，褚遂良與另一位元老重臣長孫無忌強烈反對任何廢黜王皇后的企圖。
根據新、舊《唐書？褚遂良傳》的記載，高宗召太尉長孫無忌、司空李績、尚書左僕射于志寧以及褚遂良進官商議廢后立後之事。
褚遂良發了一通議論，給皇帝潑了一瓢冷水。而他的那種不要命的態度，將官笏放在臺階上，同時也把官帽摘下，叩頭以致於流血，更使皇帝大為惱火，讓士兵把他強行拉了出去。
而坐在皇帝后邊的武媚娘則恨不得立刻將他處死。在關鍵的時候，善於迎合旨意的李績卻說了一句話：“此乃陛下家事，不合問外人。”
這一來既改變了唐王朝的命運，也將褚遂良等人推入了悲劇的深淵。
這場鬥爭，在中國歷史上有著舉足輕重的關係。根據後世陳寅恪的研究，對立的兩派，分別代表了不同地區的貴族利益集團。
李唐家族從興起之時，就與集中於中國西北地區的許多大家族建立婚姻紐帶，形成所謂“關隴集團”，而他們自西魏以來，就已在北方形成統治階級的核心。
像反對廢后的長孫無忌、褚遂良、韓瑗等人，便是關隴集團中的成員。而支援武則天的那一幫人，卻出身於其他地區，或是商人，或透過科舉制度而進入官場，他們是被稱之為“山東集團”的成員。
這樣，武則天與王皇后之間的爭鬥，就不僅僅是宮廷內部的簡單爭鬥，而是反映了兩個政治集團之間爭奪最高政治權力之間的鬥爭。
此後，武媚娘終於還是被冊封為皇后，褚遂良也被新皇后趕出朝廷，到潭州任都督。第二年元旦，武后的兒子李弘被立為太子。
新冊封的皇后，不失時機地向反對她的人進行打擊報復。王皇后與蕭淑妃被殘忍地害死了。褚遂良被調到離京師極遠的今廣西的一個州去任都督。而同年晚些時候，武媚娘則與許敬宗、李義府一起，誣告中書令來濟、門下侍中韓緩與在廣西的褚遂良共謀反叛。
晚年的褚遂良又一次被貶，這一次是被貶到中國本土以外的越南河內西南一帶，褚遂良在絕望之中，寫了一封信給高宗，向他求情訴說自己曾長期為高祖與太宗效勞，最堅決的支援高宗繼位等等，結果仍是無濟於事。
（）
公元659年，禇遂良在流放之中孤獨地死去，時年六十三歲，在他死後的兩年多時間裡，武媚娘等人還沒有放過他，一方面把他的官爵削掉，另一方面把他的子孫後代也流放到他死的地方。
直到神龍元年，褚遂良死後四十六年，他才得到了平反，天寶六年，他作為功臣，得以配祀於高宗廟中，德宗貞元五年，皇帝下詔，將褚遂良等人畫於凌煙閣之上，以示他與唐初的開國英雄們有同樣的功勞。
杜睿欣賞褚遂良這個人，但是卻並不欣賞褚遂良在政。治。鬥爭當中的表現，只會一味的強硬，而事實證明，無論是太宗，還是原本歷史上應該即位稱帝的李治，他們都不喜歡這一類的臣子。
其實讓杜睿記住褚遂良這個人，究其原因，還是因為褚遂良的書法造詣，前