，如果他過早的出來反對楊廣反對大隋，那麼他就會像楊玄感一樣瞬間被碾碎，最終身首異處。所以他一直蟄伏。等待大隋最弱的機會。當楊廣再次南巡帶走了絕大部分精銳部隊，李密圍攻東都洛陽進軍中原的時候，他的兒子李世民、幕僚裴寂等人都紛紛勸他起兵，下屬劉文靜向李世民進言希望他能勸李淵造反他說：如今李密長期圍攻洛陽，皇上流離遷徙淮南，跨州連郡的大“賊”與阻礙山澤的小‘盜’已有幾萬起了，只等待真主駕馬驅馳去奪取。果真能夠順應天命人心，舉起義旗大呼，則天下不難平定。現今太原郡逃避盜賊的百姓都來到此城之中。我任縣令幾年，知道哪些人是豪傑之士，一旦互相召呼著聚集起來，可以得到十萬之眾。令尊所領之兵又將近幾萬，君言出口，誰敢不從？乘虛入關，號令天下。不到半年，帝業可成。
但是李淵就是不表態，一直在拖。因為他還沒有等到他要的機會。李淵的不表態急死一大幫跟他的手下了，弄得裴寂等人以為李淵是害怕造反，於是他們找來尼姑造了幾句讖言在太原城內流傳，意圖給李淵打氣同時做輿論準備。
李淵的副手，河東副討捕史夏候端，據說善於占卜、會給人看相。他也跑去對李淵說：“今年以來，玉床不安，帝座不穩，一年之內，必有真人崛起，屬下思來想去，非君而誰？”
幾天之後，李淵的另一手下許世緒，也來湊熱鬧，他向李淵進言道：“公姓名應於圖讖，據四戰之地，舉事則帝業可居，希公圖之！”就是說李淵你是應驗“李氏當有天下”的人，趕緊起兵吧。
不管兒子與下屬怎麼勸他，李淵都是堅持自己的等待，直到隴西的薛舉造反了，李淵才知道自己不能再等了，該反了。
薛舉，河東汾陰人，“容貌瑰偉，兇悍善射，驍武絕倫”。起初，為金城府校尉。當時，隴西群盜蜂起，饑民遍地，金城令郝瑗，招募饑民數千人，派薛舉前往討捕盜賊。薛舉與其子薛仁杲及同謀十三人，劫持郝瑗，假稱收捕反叛者，將郝瑗等郡縣官收監，開倉賑濟貧民。隨後薛舉自稱西秦霸王，建元為秦興。薛舉大肆招兵買馬，氣勢很盛，所到之處，無不被攻下的。隋將皇甫綰屯兵一萬在枹罕，薛舉選精兵二千人偷襲，與皇甫綰軍遇於赤岸，還未交戰，突然來了暴風雨。開始之時，薛舉軍處於逆風之勢，但皇甫綰卻沒出擊；忽然風向改變，兩邊一對調，皇甫綰軍處於逆風之勢，天色昏暗，軍中混亂。趁此機會，薛舉策馬衝前，大隊人馬緊隨而上，隋軍大敗，於是攻陷枹罕。當時羌人首領鍾利俗在岷山界擁兵二萬，全部投降薛舉，由此兵力大增。不斷率軍攻佔地盤，又攻克鄯、廓二州，數日之間，盡有隴西之地，兵力多達十三萬。
兵強馬壯的薛舉父子準備大舉進攻關內長安，這時的李淵知道自己再不反的話，薛舉父子就可能拿下長安及關中，到時自己再造反的話就難以立足天下了，終於李淵下定決心正式起兵了。
李淵想反，但並不代表他管轄的老百姓會跟著他造反。當時李淵治下的山西，雖偶有盜賊，但老百姓的日子還能過下去。李淵想造反了，還可以活下去的老百姓卻沒有這種不要命的想法。這對於李淵來說，可不是好事兒。所以李淵的下屬劉文靜就想出了一歪招：“詐為敕書，發太原、西河、雁門、馬邑年二十歲以上，五十歲以下，悉為兵期歲暮集涿郡，擊高麗。”
李淵假傳楊廣的旨意，說楊廣要再伐高麗。討伐高麗，對於當時許多人來說是一場惡夢，現在楊廣居然又要討伐高麗。所以這道假的聖旨讓太原“人情忷忷，思亂者眾”。同時李淵就以討伐劉武周為名，開始私自大規模招兵。因為這時的李淵還是以隋朝太原留守的名義行事，所以在很短的時間裡便招到近萬人。
太原李淵要造反，卻並不代表太原的所有隋朝官員都想和他一樣。其中太原副留