，分別在城東、城北兩地列陣，互為掎角之勢，李淵也將軍隊一分為二，親自率軍與龐玉對陣於北門，令李二和段志玄率軍迎戰東門隋軍。
立陣剛定，此前在雀鼠谷吃了大虧的龐玉壓不住心中火氣，首先發起進攻，李淵詐敗退卻，引誘龐玉軍放棄堅陣發起追擊，龐玉再度中計，追擊間陣腳鬆動，後方露出破綻，立陣於城東的李二和段志玄乘機率領騎兵發起衝擊，猛衝龐玉背後，李淵也乘機掉頭殺來，激戰間，武藝超群的李二手刃數十敵人，雙刀都砍出了缺口，勇不可擋，徹底挫動隋軍心膽。那邊李淵見戰場已陷入混亂，遂命令全軍高喊口號，聲稱自軍已經生擒到了龐玉。
很簡單的攻心計，儘管龐玉的帥旗未倒，仍然還在戰場上高高飄揚，但是士氣不振的大興隋軍卻偏偏中了計，相信主帥被擒的恐慌之下，許多隋軍將士潰散而走，影響同伴鬥志，滾雪球一般造成大量士兵陷入慌亂狀態，士氣如虹的李淵叛軍乘機狂衝猛打，隋軍大敗而逃，龐玉努力約束無效，又見大批叛軍向自己衝來，膽怯之下趕緊拍馬而走，帶著親兵逃向北門，李淵父子全力追殺，說什麼都不肯錯過這個破敵機會。
數量龐大的隋軍敗兵給叛軍打了免費前鋒，壓住了吊橋無法升起，堵住了城門無法關閉，久疏戰事的霍邑城又不象虎牢關那樣，在城門上方懸掛有夜叉擂可以在關鍵時刻阻擋人流，霍世舉在城上大吼大叫命令趕緊關門，城門兵卻死活擋不住如潮人流，推搡之下，隋軍城門官還無比倒黴的被人潮衝倒，被自家敗兵活生生踩死，門兵膽怯下更不敢阻攔，後面的李淵叛軍乘機尾隨而上，先是砍斷吊橋絞索，接著跟隨隋軍敗兵人流衝入城內，奪佔了城門要地。
再無任何懸念，隋軍主將龐玉雖然也僥倖逃進了城內，但士氣低落的隋軍將士卻根本擋不住李淵叛軍的前進腳步，揀到了天降大餡餅的叛軍上下人人爭先，個個奮勇，殺得倉促迎戰的城內隋軍無法招架，霍世舉幾次組織軍隊巷戰攔截，試圖奪回城門，也都被勢不可擋的叛軍幾下子打潰，最後隨著攻入城內的叛軍士兵越來越多，在城內佔據的區域越來越大，龐玉與霍世舉也沒了辦法，只能是匆匆領了殘兵敗將棄城而逃，叛軍乘機奪佔霍邑，同時分兵追殺隋軍敗兵，拼命削弱隋軍的作戰力量，不過龐玉和霍世舉喘息機會。
大勝後的李淵叛軍當然是一片歡騰，李淵又下令給輔兵與戰兵同樣的犒賞後，歡呼聲陡然又加大了數倍，數量居多卻賞格較少的叛軍輔兵個個喜形於色，無不慶幸自己跟對了人，覺得為老李家賣命十分值得，錦上添花的是，此刻偏巧了叛軍偏師張綸部神速攻佔離石郡、擒殺拒絕投降的離石太守楊子崇的訊息，叛軍隊伍裡的歡呼聲更是一下子達到了頂點，攻佔大興、擁立代王的振臂口號聲響徹全軍全城，軍心振奮到了極點。
看到這樣的熱烈場面，李建成、李二兄弟和李淵軍高階將領當然也是無不歡欣鼓舞，都說士氣可用，自軍這次又一戰拿下霍邑城池，足以證明自軍這支新組建的軍隊戰鬥力強大，絕不亞於任何一支當世雄師，攻破大興易如反掌。然而興奮自信的同時，李建成、李二和劉文靜等精細之人，卻發現身為全軍主帥的李淵臉上反倒沒有多少喜色，言語間偶爾還有些前言不搭後語，似乎正有心事。
察覺到了這點，李建成便小心向李淵問起了原因，李淵猶豫了一下，然後才說道：“沒有必要再隱瞞了，直接告訴你們吧，其實十幾天前我就已經收到了訊息，陳應良已經奪回了虎牢關，打跑了李密和翟讓。”
“陳應良已經拿回了虎牢關？打跑了李密翟讓？”叛軍幾大將領全都失聲驚叫，李建成和李二也都是臉色一變，同樣在場的降將雲定興也眼中閃過光芒，但沒有吭聲。而神情反應最為激烈的，當然還是已經被封為李淵叛右領軍長史的柴紹——雙手攥得指關節都