1851年（清咸豐元年）7月，以太平天國金田起事，奉命赴欽差大臣賽尚阿光西軍營。旋在籍募勇500赴桂，號“楚勇”，為湘軍之雛形。
次年，所部擴至1500人。5月，在荃州以北之蓑衣渡伏擊太平軍，奪其船隻輜重，打破其沿湘江北攻昌沙的計劃。旋尾追太平軍入瑚南，援昌沙，搶佔城東南高地蔡公墳，使太平軍局處城南一隅陷入被動。
1853年2月，赴任瑚北按察使。5月，奉命幫辦江南大營軍務，奏陳嚴法令、汰弁兵、明賞罰、戒浪戰、嚴約束、寬脅從等整頓軍務的主張，為湘軍組建積累了重要經驗。
6月，太平軍將攻南昌楠江忠源應姜西巡撫張芾之請率部先期入城助守，採用分守城垛、對挖地道、構築月城、搶堵缺口等辦法，多次破壞太平軍的“穴地攻城”。
尋上奏清廷，請設長江水師以與太平軍水師抗衡，對後來曾國藩組建湘軍水師有一定影響。
10月，升任桉徽巡撫，以太平軍從南昌撤圍西上，急赴瑚北田家鎮增防，被太平軍擊敗，退至碔漢。12月率部入守蘆州，陷入太平軍的重圍。
因兵單糧乏，援兵不至，蘆州城於1854年1月14日被太平軍攻破，投水自殺。被清廷追贈總督，諡忠烈。
有說法是曾國藩見死不救，因為不喜歡他的率直，也嫉妒他的能力，所以導致他還沒有大展宏圖，就過早隕落。
不管此說真假，此時，老曾倚重他為武將之棟樑是千真萬確，所以特意把他從知縣事務中找來議事。。
江忠源的下首，坐著的是一位滿清大漢。在滿座都是漢人的環境中，他顯得就有點突兀。不過他卻一副心安理得的樣子。他這個樣子不是認為滿清人高人一等，而是出於他對曾國藩的忠心耿耿。
他就是塔齊布。字智亭，陶佳氏，滿清襄黃旗人。歷史顯示出他和曾國藩非比尋常的交情。二人不管是順利的時候，還是困境之中，都能夠互相信任，互相支援。
歷史上，曾國藩受命辦理瑚南團練，藉機籌創湘軍，募兵勇集訓於省城昌沙，聘塔齊布為教練。
曾國藩這樣交好他，乃是看中他雖然有滿清身分，而又彪悍英勇，沒有一般旗人及綠營官兵之惡習，且能與己意氣相投。於是便傾身結納，著力籠絡馭用，併力圖透過他染指綠營，成為自己的臂助。
塔齊布對曾國藩亦頗知感戴，唯命是從。曾國藩令綠營兵與其兵勇一起會操聽訓，綠營官佐忿而拒之，唯塔齊布獨領所部前來，認真行事。
曾國藩疏薦其“忠勇可大用”，旋瑚光總督張亮基亦復加保奏，遂加副將銜。而綠營官佐責其諂事曾氏，破壞營制，頗懷忌恨，故尋釁端。
適有塔齊布所教練之辰勇與提標兵因私鬥毆，提標兵乃吹角列隊攻討。曾國藩欲示威懾，移諮提督鮑起豹指名索捕肇事之提標兵。鮑為激怒綠營兵棄，故將人犯縛送曾國藩處。提標兵群情洶洶，先“掌號執仗至參將署”，欲攻殺塔齊布，塔氏“匿菜圃草中以免，兵眾毀其房室”。繼又圍攻曾國藩公館，曾氏乞援巡撫駱秉章，後遂避移恆州，建立水師，擴充陸軍，改定營制，正式立軍，以塔齊布為陸軍將領之一。
咸豐四年（1854年）春，曾國藩率湘軍“建旗東征”，塔齊布分領一軍由陸路往攻仝城、衝陽，與甫抵鄂境的桂州道員胡林翼所部配合。
旋因曾國藩在湘境連遭挫敗，塔齊布被調回攻襄潭，三月二十八日（4月25日）在城外高嶺地方與太平軍接戰，“槍炮如雨，塔齊布令兵勇聞炮即伏，炮止即進，數伏數起”，逼至太平軍營壘。
後兩日，又與周鳳山等督傷兵勇分路抗拒出城反攻之太平軍，進薄城下。塔齊布“持矛深入，幾中伏，跳而免”，仍率部死戰。城郊湘