是一個態度的問題。西突厥處羅可汗出兵，而東突厥的始畢可汗不出兵，顯然預示著隋與東突厥的關係己發生變化。啟民時期雙方的親密關係己經變得疏遠了，也說明始畢可汗不願意像他父汗一樣成為大隋的傀儡。
在天下狼煙四起的情況下，北方邊境的安寧尤為重要。所以楊廣在始畢可汗公然出兵入境掠奪的情況下，冒險再一次北巡。一如往常的出巡，楊廣這場的冒險也被後人認為吃飽了沒事私心作祟，認為是他在三徵高句麗失敗，“聖人可汗”威風掃地之時，試圖重演大業三年（607年）北巡啟民可汗營帳的故事，以求挽回一點面子，他才不辭勞苦執意出塞的。
楊廣的車駕駕往邊關。樓煩郡太守陰世師聽說始畢可汗將不利於隋，曾勸楊廣御駕回太原，但他沒有聽，因為他覺得始畢雖然有點不聽話了，但是還不至於敢對聖人可汗的他下手，他的車駕便一直往突厥境內方向去。但在八月初八下嫁突厥可汗的隋義成公主先派使者緊急通報始畢率數十萬騎“謀襲乘輿”的訊息時。楊廣才相信始畢可汗不僅不象當年其父啟民那樣殷勤，只帶少數人來迎駕，並親手鏟草開御道；而且始畢此來，是帶了幾十萬騎兵“迎駕”的。楊廣得報大驚失色。他才意識到危險離自己是如此的近，他沒有料到自己冊立的傀儡坐大後膽敢劫駕。12日，楊廣一行幾十萬人急忙回駕馳入雁門郡城，打算依城抗敵。
雁門郡城即為有名的雁門關。位於山西代縣。“天下九塞，雁門為首。”雄關依山傍險，高踞勾注山上。東西兩翼，山巒起伏。山脊長城。其勢蜿蜒，東走平型關、紫荊關、倒馬關，直抵幽燕。連線瀚海；西去軒崗口、寧武關、偏頭關、至黃河邊。雁門關與寧武關、偏頭關為內長城之“外三關”，這裡峰巒疊蟑、山崖陡峭，關牆雉堞密集，烽堠遙相呼應，東西兩面將老營口、坷申池口、陽方口、東隆口、西烴口、北樓口、大石口、石口、馬蘭口、茹越口、胡峪口等十八隘口連為一體，地勢十分險要，為千古兵家征戰之地。戰國時期，趙國大將李牧常駐雁門，憑藉關城之險，慎重防守，擊敗匈奴十萬人馬；漢朝名將李廣、衛青、霍去病曾經率兵和匈奴在此廖戰，大獲全勝，威震塞外。這也是為什麼楊廣一行在知道始畢可汗帶了十萬的突厥騎兵來拼命往這裡擠的原因，就是想借險關來面對來勢洶洶的突厥大軍。
八月13日，突厥騎兵包圍了雁門郡城，幾十萬騎兵入塞，穿過隋定襄、馬邑二郡直入雁門，將楊廣御駕后妃宮女宰相百官等十幾萬人圍得鐵桶一般。楊廣一行猝不及防，上下惶恐，撤民房修築工事以作守禦。其時蘇夔領城東面防衛事，用一夜時間造作了“弩樓車箱獸圈”，但是幾次交鋒，猝不及防的官軍均不利，雁門郡四十一座城被突厥很快攻佔了三十九城，只有雁門、哼縣還在堅守。時雁門郡城有兵民十五萬，糧食僅可支兩旬，情勢危急萬分。突厥的幾次猛攻，箭頭有的甚至落在皇帝楊廣的跟前，弄得楊廣狼狽不及，抱著幼小的兒子趙王失聲痛哭，哭得“目盡腫”。城外殺聲震天，城內亂作一團。關於戰守之策，將相們意見紛紜，楊廣甚至詔令裴矩和虞世基宿於朝堂，“以待顧問”。面對自己扶持起來的滔滔突厥騎兵楊廣唉嘆道：“向使長孫展在，不令突厥至此。”
大將軍宇文述建議楊廣率數千騎突圍，儘早脫身。納言蘇威反對，認為萬乘之主不宜輕動，且“城守則我有餘力，輕騎則彼之所長氣”，避長就短十分危險。民部尚書樊子蓋同意蘇威的意見，說：“陛下萬乘之主，豈宜輕脫，一朝狼狽，雖悔不及，未若守城，以挫其銳，四面徵兵，可立而待。”接著，樊子蓋又垂泣而諫：“願暫停遼東之役，以慰眾望，聖躬出慰撫，厚為勳格，人心自奮，不足為憂。”
近臣虞世基也同意樊子蓋的看法，“勸帝重為賞格，親自撫循，又下詔停遼東之事。”內史侍