北周武帝都極為讚歎，可見楊素的才學。
有了這樣的才學，再加上楊素的家世，走上仕途便是理所當然的事情。我們知道在隋朝以前是沒有現在熟悉的科舉制度的，當時不論南朝還是北朝盛行的都是門閥貴族的制度，也就是做官喜歡論出身，祖上當過大官的話後人想做官就不難，再加上楊素本身很有才華，時北周大冢宰宇文護把持朝政，引其為中外記室，後轉禮曹，加大都督。北周天和七年（公元572年）三月，北周武帝宇文邕誅殺宇文護親掌朝政，楊素遭到牽連。
而後楊素以其父楊敷死於北齊，但未受朝廷追封，上表申訴。周武帝因楊素曾做過宇文護的官職而不予理踩他。楊素再三上表，弄得周武帝大怒，下令殺楊素。楊素高聲地說：“臣事無道天子，死其分也”。周武帝聞後，對楊素刮目相看，赦其無罪，並追贈其父為大將軍，諡忠壯，拜楊素為車騎大將軍、儀同三司，並逐漸對其有了好感。周武帝曾令楊素起草詔書，楊素下筆成章，文詞華麗，周武帝讚揚道：“善自勉之，勿憂不富貴。”而楊素卻回答說：“臣但恐富貴來逼臣，臣無心圖富貴”。
北周建德四年（575年）七月，周武帝率軍攻北齊，楊素請求率其父舊部為先鋒，周武帝同意，賜以竹策，並說：“朕方欲大相驅策，故用此物賜卿”。楊素隨齊王宇文憲攻北齊河陰（河南洛陽東北），因功封清河縣子，邑五百戶。同年授司城大夫。北周建德五年（576年）十月，楊素再次隨宇文憲攻北齊，克晉州（山西臨汾）。宇文憲屯兵棲原，北齊帝高緯率諸軍自晉陽（山西太原）向晉州進發。宇文憲聞北齊軍主力至，大懼，乘夜而逃，結果為北齊軍追上，北周軍多被擊潰。楊素與驍將十餘人盡力苦戰，宇文憲方得以解圍。
第二十章 二楊平亂
此後，楊素屢立戰功，北齊滅亡後，加上開府，改封成安縣公，邑千五百戶，賜以粟帛、奴婢、雜畜。北周建德六年（577年）十月，陳宣帝陳頊聞北周滅北齊，遂派名將吳明徹率軍北伐。吳明徹軍至北周呂梁（江蘇徐州東南），擊敗徐州總管梁士彥，進圍彭城（今江蘇徐州）。北周建德七年（578年）二月，楊素隨上大將軍王軌大破陳軍，俘主將吳明徹。楊素遂治東楚州事。其弟楊慎被封為義安侯。陳將樊毅築城於泗口，楊素將其擊走之，並將所築之城全部毀壞。北周宣政元年（578年）六月，周武帝去世，周宣帝繼位，楊素襲父爵臨貞縣公，並以其弟楊約為安成公。北周大象元年（579年），楊素隨上柱國韋孝寬攻南陳淮南，率軍攻克盱眙（江蘇盱眙東北）、鍾離（安徽鳳陽東北）。
楊堅專權時，楊素知楊堅甚得眾心，且有稱帝之意，遂主動投到楊堅門下，與其交好。楊堅也知楊素之才，對其也非常器重，不久便以楊素為汴州刺史。後為行軍總管參加過討伐尉遲迥，不久任大將軍，領河內兵打敗宇文胄軍，斬宇文胄。因功遷徐州總管，進位柱國，封清河郡公，邑二千戶。其弟楊嶽也被封為臨貞公。楊堅登基後，楊素任上柱國，並參與了隋朝法律的修定。開皇四年（584年），拜御史大夫。由於其妻鄭氏是個悍婦，楊素一次與其吵架說了一句：“我若作天子，卿定不堪為皇后”。結果被其妻告發，楊素因此獲罪，並被免官。好在楊堅一直準備滅亡陳朝，統一中國，楊素曾數次獻伐陳之策，此次被免官後，楊素再次獻伐陳之策。開皇五年（585年）十月，知楊素才能的楊堅讓他擔任信州總管，經略長江上游，後為行軍元帥與楊廣南征滅陳。楊素率領水軍在長江上游打的南陳將領心驚膽戰，他率領的水軍氣勢宏大，大小戰船鋪滿了整了江面，旌旗盔甲在陽光下鮮豔耀眼。而楊素本人端坐在平乘大船之上，容貌體魄雄健魁偉的他讓南陳將領望而生畏，都說：“清河公就是長江之神啊！”平陳後因功封爵越國公，以其子楊