隨著零星&ldo;捻黨&rdo;的加入，這些人熟門熟路，帶著太平軍的北伐部隊自安徽亳州進入河南，立刻就擊潰了由清朝河南巡撫陸應谷前來迎戰的數千清軍。太平軍不僅殺掉大部分清軍，還俘獲了火藥數萬斤與大炮數門，挾銳氣直下歸德。至此，太平軍的當務之急就是立即從劉家渡渡過黃河。
於是，留下吉文元、朱錫錕率部分人馬留駐歸德，林鳳祥、李開芳自率前鋒軍直撲距歸德四十里開外的渡口。
清軍方面，河南巡撫陸應谷不甘心，重新糾集數千清軍來攻歸德，再被太平軍留守部隊打得大敗。
由於後續部隊完全到達，吉文元等人率軍放棄歸德，前往劉家渡渡口與前鋒軍會合。
可惜的是，萬事俱備，只欠渡船。清朝的曹縣知縣姚景崇有先見之明，早已經把北岸船隻盡數收集後付為一炬，幾萬太平軍只得呆呆望著黃河濁流發嘆。
太平軍好不容易從曹河上游費盡心力搜找了兩隻船，載上一百多士兵準備慢慢把人渡過去。行至河中央，對岸早已準備的清軍大炮猛轟，登時把兩船及上面的太平軍炸成碎片。無奈之餘，太平軍只得繞道西上，經開封、朱仙鎮、中牟、鄭州、滎陽、汜水、鞏縣，總共費了22天工夫，才得以在汜水和鞏縣之間找到民船渡河。
由於船隻太少，北伐軍僅渡河就花去七天時間。
由於身後有清軍託明阿、西凌阿等部躡蹤而至，北伐軍吉文元所率的一千多人未及渡河即遭截擊，只得與主力部隊分離，掉頭往南迴奔。這些人邊打邊撤，雖然有一支捻軍雷六部對他們予以援手，仍舊連遭失敗，最終在八月間被清軍消滅於安徽境內。
北伐軍主力渡河後，立刻在7月7日對懷慶府（沁陽）展開猛攻，拉開懷慶戰役序幕。
懷慶一帶的清軍，總共有勝保、託明阿、善祿以及察哈爾軍總共六萬人集結，直隸總督納爾經額以&ldo;欽差大臣&rdo;身份全權指揮。總共攻打近兩個多月，懷慶城堅，清軍頑強，北伐軍只得棄攻懷慶，向西挺進。
北伐軍佔領濟源後，越王屋山進入山西。其實，攻懷慶是北伐軍一招臭棋，貪攻城池，浪費大好時間。假如當初太平軍渡黃河之初趁清軍在河南北部未集結時，由溫縣、新鄉北上，可以走捷徑殺向北京。而且，山東、河南交界地區捻黨、白蓮教、鹽販子勢力活躍，肯定會應聲而起。那樣的話，一路滾雪團一樣，大可直逼北京城下。
由於放跑了北伐軍，清政府大怒，下詔逮問直隸總督納爾經額。但懷慶堅守有功，勝保等人得以加官晉爵，他本人還被授予&ldo;欽差大臣&rdo;關防。
聽說太平軍進入自己的轄境，清朝山西巡撫哈芬&ldo;嗷&rdo;的一聲率幾個隨從就從省城往外跑得沒影。清廷震怒，下旨逮問，捕快差人也找不到這位山西一把手，不知道他躲到哪裡去。後來，捕快們才知道這個兔子一樣腳快的巡撫躲在了潞安。
太平軍在山西境內如入無人之境，連下垣曲、絳縣、曲活、平陽（臨汾）、湖洞、趙城、霍縣等地。在平陽，由於守城清軍開炮打死一個北伐軍的執旗手，此人乃林鳳祥同村鄉親，惹起他大怒。城破之後，他下令屠城，搜殺三日，把全城百姓無論男女老幼盡數殺死，屍體疊壓狼藉。正要繼續北上之時，忽聞清朝勝保一軍已經繞過太平軍，在霍州以北的韓侯嶺佈下重兵準備截擊。至此，北伐軍只能再次繞道，從洪洞折向東行，在屯留打敗清將託明阿部隊，克潞城、黎城，又回河南。
涉過清漳河後，北伐軍打下涉縣、武安，直達直隸（河北）轄境。恰恰在同一時間，在南方的上海，又有劉麗川的小刀會起事。清政府頭頂冒膿，雪上加霜。
北伐軍出手很快，襲取邯鄲的臨洺關後，十餘天內連克