大怒，道：“楊素殫民力為離宮，為吾結怨天下”。就召楊素問對。但楊素事先做好了獨孤皇后的工作，獨孤皇后就在旁邊替楊素幫腔。結果楊堅聽了枕頭風，不但沒有懲罰楊素，反而加以恩賞，從此對他更為信任。至於高熲反而逐漸受到疏遠。
之後因為廢太子楊勇和晉王楊廣的儲位之爭，楊堅更直接將高熲貶為庶人。楊素由此而得獨相。沒有了制肘，他更加肆無忌憚地提拔私人安置在朝廷的各個緊要位置，幾乎是隻手遮天。試想，假如沒有楊堅當日的放任，楊素的野心又何至於不斷膨脹，終於演變成今日這種最惡劣的結果？
然而道理歸道理，有些時候有些事情，卻是大家都心知肚明，卻又誰也不能說的。裴矩和楊昭今日才是第一次見面，雖然彼此都客氣，但還遠不到可以推心置腹的地步。如果二人都是平頭小老百姓，那麼酒酣耳熱之際，非議幾句今上，扯淡幾句國家大事什麼的，倒也無所謂。但眼下一位是世家子弟，名門望族出身的內史侍郎；另一位則是龍子鳳孫，絕對根正苗紅的太子嫡子河南王。裴矩宦海沉浮多年，言談之間，卻實在不該如此沒有分寸才對。
彈指之間，小王爺心中早轉過許多個念頭，設想了十七八種可能性。因震驚而懸在半空的手腕徐徐放下。他收起面上笑容，道：“所謂子不聞父過，更何況當今天子，就是本王祖父。聽了裴大人這句說話，我本來該掩耳而走才對。”
裴矩微笑道：“但，殿下此刻卻並未有起身離開，反而繼續端坐與下官說話。這說明殿下亦知道下官說得沒有錯，對麼？”
楊昭微微一笑，不答此句，卻轉過話題，道：“裴大人似乎對當今朝廷頗有不滿。然而人非聖賢，誰能無過？過去幾年，我皇祖父因受楊素矇蔽，確實令許多人受了冤屈。但如今楊素已經事敗，近日來皇祖父便會將其黨羽一一剷除，撥亂反正，再振朝廷綱紀法度，如此，也足以將功補過了。”
裴矩搖頭道：“大隋朝開國這二十年來，行政上雖然亦頗有可觀，但在用人方面，始終難脫古來濫觴，只不過因天子之愛惡而隨心所欲罷了。只要被陛下看得入眼，即使有天大的過錯，也能免罪脫身。但若陛下看不入眼，哪怕賢如高僕射，亦不免要遭黯然謫拙。如此這般，今日去一楊素，明日又上來一個李素、柳素，那麼又有什麼分別？”
楊昭嘆口氣，道：“皇祖父年紀已然高邁，這卻也難免。但他日我父王登基，相信事情當能有所改善。”
裴矩亦嘆道：“殿下還是不明白。這根本不是誰人做皇帝的問題，而是制度的問題。古往今來，無數王朝相繼興滅，就是因為以人治國，雖有小利，弊端卻更多。縱有聖明天子在位，使佞幸暫且不能為害，但卻難以保證日後代代天子皆聖明。故此長此以往下去，久後廟堂之上必然小人當道。而到了這個地步，亦就國將不國，離滅亡不遠了。”
裴矩的話說到底，就是“人治”與“法治”之爭。而即使到了後世的現代社會，社會上始終仍是“人治”大於“法治”，像楊素這種人雖然在中樞已經逐漸少見，但在地方上卻反而更加猖獗起來，雖屢經打擊而不止。所以裴矩這番話雖然有些虛，但楊昭也頗有同感。他點點頭，道：“假若朝廷建立一套選拔機制，任用人才首先注重德行，規定有才無德者不得出仕，裴大人以為如何？”
裴矩冷笑道：“殿下所說，乃是儒家的陳腔濫調而已。自漢武帝獨尊儒學以來，政治權力的紛爭、魏晉的興亡遞嬗，事實上是儒家豪族與非儒家寒門的勝敗問題。儒家豪族遵行君臣、父子之道，其學為儒家之學，其行必須符合儒家的道德標準，所謂孝友禮法。而修身治家的道德方法，亦適用於治國平天下。名教之大者莫若君臣，孝於親才能終於君。當這種看法被採用於人材的甄選上，便成徵辟制度，能否入仕，全看豪族依