帝說：“這小子眼神不善，以後別讓他擔任宿衛了。”於是，宇文述對李密道：“您天資聰慧，應該憑才學獲得官職，當衛士沒什麼出息，不如回家讀書更好。”李密聽了很高興，便稱病辭職，回家專心讀書。有一天，他騎牛去拜訪老師包愷，將《漢書》掛在牛角上，一手捏著牛繩，一手翻書閱讀。這時，越國公楊素正好騎馬走在後面，看見李密勤奮讀書，便趕上他問：“哪裡的讀書人，這樣好學？”李密連忙下牛參拜，通報了自己的姓名。楊素又問他讀的什麼書，李密回答說是《項羽傳》。楊素跟他談得很愉快，便對自己的兒子楊玄感等人說：“李密的學識氣度，你們都趕不上。”楊玄感遂與李密傾心交往，李密從此走上了造反的道路。
大業九年（公元613年），隋煬帝征討高句麗，派楊玄感在黎陽督運糧草。此時天下動亂，楊玄感籌劃起兵，暗中派人將李密接來，讓他主持謀劃工作。李密向楊玄感獻了上、中、下三策：上策是襲佔涿郡，扼臨榆關（今山海關），關外隋軍糧草不多，不久必然潰散，這跟後世偉人主張攻打錦州有異曲同工之妙。中策是攻佔長安，佔據關中與隋煬帝對抗。下策是攻打洛陽。楊玄感聽後，道：“您說的下策，才是上策。現在大臣們的家屬都在洛陽，攻下了它，大臣們就會投降。”楊玄感沒什麼才幹，用的還是土匪綁票那一套。
楊玄感率軍奔赴洛陽後，打了幾個勝仗，抓獲了隋朝的內史舍人韋福嗣，就把機要事務交他辦理，從此征戰大事不由李密一人主持。韋福嗣本來就不是同夥，每當商議謀略，都持模稜兩可的態度。楊玄感後來要他起草佈告文書，韋福嗣堅決推辭。李密便對楊玄感說：“韋福嗣本不是志同道合者，實際上抱著觀望態度。您剛舉義旗，卻讓奸細留在身邊，必然被他誤事，不如把他殺了。”可楊玄感不聽，李密私下對友人道：“楊楚公喜愛造反卻不打算成功，怎麼辦？我們將會當俘虜了！”後來楊玄感攻不下洛陽，向西進軍，韋福嗣終究逃回洛陽去了。
楊玄感的軍隊被隋朝的追剿大軍打敗後，李密被抓獲，押往隋煬帝駐紮的高陽。李密對同伴道：“我們的性命就像早晨的露水一樣，如果被押到高陽，就會被剁成肉醬。”他讓同伴們把錢都拿出來，對押解的官差說：“我們死後，用這些錢作為安葬經費，剩下的全部給你們。”官差被金錢所誘惑，防備逐漸鬆懈。李密讓人買來酒菜，每天夜裡跟官差吃喝，通宵達旦。走到邯鄲時，李密等七人在牆上挖洞逃走。
李密逃到淮陽郡後隱姓埋名，自稱劉智遠，招收徒弟講學。有人發現他行為異常，向準陽太守趙佗告發，趙佗派人搜捕他，李密又逃走了，前去投奔瓦崗寨。瓦崗首領翟讓身邊的人說李密是楊玄感的逃將，慫恿翟讓殺了他，翟讓就把李密關押在營寨之外。李密讓看守自己的王伯當對翟讓說：“隋煬帝昏庸無道，攻打高句麗損兵折將，撇下洛陽長安巡視江南，百姓怨聲載道，又和突厥斷絕了友好關係，眼下正是像劉邦、項羽那樣爭奪天下的良機。憑您的雄才大略，精兵強將，奪取洛陽長安，滅亡隋朝綽綽有餘。”翟讓聽後大為讚賞，立即釋放了他，讓他輔佐自己。
在李密的謀劃下，翟讓攻克了金堤關和滎陽等城鎮。隋將張須陀帶兵討伐翟讓，翟讓曾被張須陀打敗過，聽說他來了，極為害怕，準備遠遁。李密說：“張須陀勇而無謀，他的隊伍又打了幾次勝仗，驕狂輕敵，一仗就能捉住他。您只管擺開陣勢，我來替您打敗他。”翟讓迫不得已，統領軍隊禦敵，李密分出一千多名士卒埋伏在樹林裡。翟讓開戰不利，邊打邊退，李密派出伏兵到敵後襲擊，張須陀計程車兵逃散，李密和翟讓前後夾攻，大敗隋軍，張須陀也被斬殺。從此以後，翟讓讓李密單獨統率一支隊伍。李密的隊伍軍容整肅，紀律嚴明，他本人衣食節儉，得到的金銀財寶全都分發給部下，因此人人願意