去世的時候，李世民“廢朝五日”，親筆撰寫碑文。然而魏徵屍骨未寒，李世民就出人意料地變了卦，不但下旨解除了衡山公主和魏徵長子魏叔玉的婚約，而且一怒之下竟然親自砸掉了魏徵的墓碑，親自下手摔了自己的“鏡子”，相當於給魏徵“鞭屍”的懲罰與恥辱。
對於李世民的這種雷人的異常舉動，有人幫他辯解認為是魏徵生前大力舉薦的杜正倫、侯君集都牽連太子李承乾密謀反事件，傷了他的心；也有人認為是魏徵曾將自己記錄的與李世民一問一答的諫諍言辭，拿給負責編寫起居錄的褚遂良作參考，犯了李世民的大忌。這兩種說法固然有一定的道理，但究其根源卻是因為魏徵屢次過火的“犯顏直諫”，使李世民恨透了他，推倒墓碑不過是李世民長期受到壓抑而表現出來的一種歇斯底里的發洩罷了。下令對已入黃土的魏徵進行“推倒碑石”“磨滅碑文”的侮辱，傳誦千古的一段君臣佳話，竟上演了這樣一幕最終的結局，實在是令人瞠目結舌大跌眼鏡。貞觀十八年初，李世民東征高句麗失利，感覺十分丟面子，又想起了魏徵，後悔莫及地說：“如果魏徵還在的話，決不會讓我犯這個錯誤了。”於是立刻重加賞賜，撫慰魏徵家人，讓魏徵的兒子承襲了國公的爵位。並派人去祭奠魏徵，將魏徵的碑重新立好，重塑了自己的納諫惜臣形象。但是就沒有再讓魏徵的兒子娶自己的女兒了。這正是李世民翻手雲覆手雨，任意所為的真實表現。我拿魏徵和楊素比，除了他們都曾經是生前在朝廷上身居顯赫外，還有就是他們都是染病後都得到了皇帝的賜藥病逝的。透過琢磨《舊唐書·魏徵傳》，就會發現有個說不清楚的最大疑點：那就是魏徵究竟得了什麼病？魏徵得病期間李世民所賜的究竟是什麼藥？魏徵之死相比楊素的死在史書上更是含糊不清，因為李世民“聖君”的緣故所有的史書對此都是晦莫能深，透過魏徵與楊素身後的待遇我甚至更相信魏徵是被李世民弄死的，而不是所謂的病逝。
大業二年七月，大隋帝國的兩個重要級別的人物太子楊昭、能臣楊素的病逝，不管當時還是現在，很多的人都忽略了這對於後來大隋帝國的影響。尤其是楊素死後，大隋的宰相不再是像高穎、楊素一樣的一權獨大而是五人組合。左翊衛大將軍宇文述、黃門侍郎裴矩、御史大夫裴蘊、內史侍郎虞世基、以及老臣蘇威，除一個納言蘇威是天然宰相，其它都是加了“參預朝政”的銜行宰相職權，這五個人被稱為“五貴”。說實在的這五個人在才能方面都是比較不錯的，至於蘇威就不用說了，剩下的宇文述在戰場上是一員比較優秀的將領，在楊廣登基前就因戰功封爵國公；裴矩在能力上可以說是非常優秀，尤其是他在處理中原與周圍少數民族之間關係方面絕對是出色的；裴蘊在政務能力上非常強，曾在各地當刺史時，每到一處，都治理得好，走時萬民相送；內史侍郎虞世基是唐代著名的書法家虞世南的哥哥，而他本人也是一名優秀的書法家同時也是當時有名的才子，曾有人對他這樣推崇道“海內當共推此一人，非吾儕所及也。”就他能力方面有個例子就能表現，據記載“於時天下多事，四方表奏日有百數。帝方凝重，事不庭決，入閤之後，始召世基口授節度。世基至省，方為敕書，日且百紙，無所遺謬。其精審如是。”
值得注意的是這“五貴”中虞世基、裴蘊、裴矩三人不隸屬於關隴集團，蘇威雖然是關隴人，但是他只是一個文人，且蘇威在隋末為人圓滑；正如李世民打下東都後斥責他的“公隋朝宰輔，政亂不能匡救，遂令品物徐炭，君軾國亡。見李密、王充，皆拜伏舞蹈。”而且他不怎麼被楊廣信任以致官職經常不穩，難以和非關隴集團的虞世基、裴蘊、裴矩三人抗衡，關隴集團中唯一在中樞掌握實際大權的就只有宇文述，此人也深得楊廣信任。可以這說在楊廣的朝堂中樞基本上被非關隴集團控制，這對於關隴集團來說是很