沒有多大野心與能力，起義後的瓦崗軍直到大約十二年（616）的時候還是像隋末大部分的農民義軍一樣沒有什麼特別的，都是為了活命聚在一起的“土匪”隊伍。但是在大業十二年的十月，他的加入改變了瓦崗，改變了天下。他就是參加過大業九年楊玄感叛亂的大貴族李密。
楊玄感兵變失敗後，在衙役手中逃脫的李密與王仲伯先投奔逃到平原（山東平原）一帶的義軍首領郝孝德處，但郝孝德卻不以禮相待，於是李密又投另一義軍首領知世郎王薄，王薄對其也不重用。是年，山東鬧饑荒。李密二人淪落到削樹皮用來充飢。
不久，王仲伯離開李密偷偷回至天水，李密則逃到淮陽（河南淮陽），住在村中，改姓名劉智遠，當起了私塾先生。幾個月間，李密鬱郁不得志，便作了一首五言詩，哀嘆自己的淒涼處境：
“金鳳蕩初節。玉露凋晚林。
此夕窮途士，空軫鬱陶心。
眺聽良多感，慷慨獨沾襟。
沾襟何所為？悵然懷古意。
秦俗猶未平，漢道將何冀！
樊噲市井徒。蕭何刀筆吏。
一朝時運合，萬古傳名器。
寄言世上雄，虛生真可愧”。
詩成之時，他自己悲從中來。竟至落淚。當時有人感到奇怪，便把此事告於太守趙佗。趙佗遂派人前去抓捕，李密聞風而逃。躲過此劫。李密無處可去，只好躲在他妹夫雍丘縣令丘君明家裡，丘君明不敢收留，便讓他藏在遊俠王秀才家，王秀才還將女兒嫁於李密。不久，丘君明的從子丘懷義向官府告發，梁郡通守楊汪相知前去抓捕，汪相知派兵包圍了王秀才家，命大的李密正好外出，因此得以逃脫，而丘君明和王秀才卻因此事被殺。
走投無路的李密在翟讓的部將王伯當的推薦下於大業十二年（616）十月，投奔翟讓。
李密來到瓦崗軍後，其中有人知道李密是楊玄感的亡將，朝廷通緝欽犯，可能是怕招來朝廷的大規模圍剿於是暗中勸翟讓將李密除掉。李密聞後，心中大懼，便透過翟讓部將王伯當向翟獻計：“今主昏於上，人怨於下，銳兵盡之遼海，和親絕於突厥，南巡流連，空棄關輔，此實劉、項挺興之會。足下資豪桀，士馬精勇，指罪誅暴，為天下先，楊氏不足亡也”。翟讓聞後，說：“吾儕群盜，旦夕偷生草間，君之言者，非吾所及也”。從此對李密禮遇有加。
當時有個叫李玄英的人，從東都逃出來，在眾義軍中尋訪李密，並雲“斯人當代隋家”。別人問其故，李玄英說：“比來民間謠歌有《桃李章》曰：‘桃李子，皇后繞揚州，宛轉花園裡。勿浪語，誰道許！’‘桃李子’，謂逃亡者李氏之子也；皇與後，皆君也；‘宛轉花園裡’，謂天子在揚州無還日，將轉於溝壑也；‘莫浪語，誰道許’者，密也”。待與李密相遇後，遂委身事之。還有前宋城尉齊郡人房彥藻，自負其才，但卻無法施展，因而參與了楊玄感之事。楊玄感失敗後，房彥藻隱姓埋名，結果在梁、宋之間，遇到了李密。此時，翟讓命李密遊說鄰近的小股義軍，李、房二人以身相隨，所至皆附。翟讓見李密為豪傑所歸，欲從其計，但猶豫未決。
翟讓手下有個叫賈雄的人，通曉陰陽占候，被翟讓命為軍師，而且言無不用。李密主動與賈雄結下深厚的交情，然後讓賈雄暗中助他。時值翟讓召賈雄議事，並將李密所言告訴了賈雄，問其是否可行。賈雄說：“吉不可言。”又說：“公自立恐未必成，若立斯人，事無不濟。”翟讓不解，問道：“如卿言，蒲山公當自立，何來從我？”賈雄回答說：“事有相因。所以來者，將軍姓翟，翟者，澤也，蒲非澤不生，故須將軍也”。沒有什麼文化的翟讓聽他這樣一說，深信不疑，從此翟讓和李密關係與日俱增。李密得到翟讓的信任後，便開始參與瓦崗軍的