，在康莊與日軍騎兵遭遇，出擊部隊邊戰邊退，誘敵深入。第183團在獐山與日軍激戰至晚。同日下午敵機多架在臺兒莊一帶低空飛行，進行偵察掃射。一場喋血大戰即將展開。
24日晨，日軍三個聯隊約六千人，在飛機坦克、重炮配合下，向臺兒莊開始猛烈炮擊我防禦工事，戰鬥激烈期間，我第二集團軍陣地每日落炮彈至六、七千發之多。炮轟之後，日軍以坦克為前導，向我猛衝。將我臺兒莊外圍陣地工事摧毀後，敵步兵向前，步步推進。而我軍以血肉之軀與敵方炮火與坦克相博鬥，至死不退。敵人猛攻三晝夜，才衝入臺兒莊城內，與我軍發生激烈巷戰。第二集團軍至此傷亡過半，漸有不支之勢，李宗仁嚴令孫總司令死守待援。自27日開始，敵我遂在臺兒莊寨內作拉鋸戰，情況非常慘烈。
在此同時，李宗仁嚴令湯恩伯軍團迅速南下，夾擊日軍。三令五申之後，湯軍團仍在姑婆山區徘徊不進。最後，李宗仁警告湯軍團長說，如再不聽軍令，擔誤戰機，當照韓復榘的前例嚴辦。湯軍團才全師南下。此時臺兒莊的守軍已傷亡殆盡。到4月3日，全莊三分之二已為敵佔。我軍仍據守南關一隅，死拼不退。日軍調集重炮、坦克猛衝，志在必克。我方守莊指揮官31師師長池峰城，感到如此死守下去，必至全軍覆沒。乃向孫總司令請示轉移陣地；暫時退至運河南岸。孫連仲即與李宗仁電話請示說：“報告長官，第二集團軍已傷亡十分之七，敵人火力太強，攻勢過猛，但是我們把敵人也消耗得差不多了。可否請長官答應暫時撤退到運河南岸，好讓第二集團軍留點種子，也是長官的大恩大德！”
孫連仲說得如此哀婉。於是，李宗仁對孫司令說：“我與敵人在臺兒莊已血戰一週，勝負之數決定於最後五分鐘。援軍明日中午可到，我本人也將明日晨親來臺兒莊督戰。你務必守至明天拂曉。這是我的命令，如違抗命令，當軍法從事。”
孫連仲見李宗仁的態度堅決，便說：“好罷，長官，我絕對服從命令，整個集團軍打完為止！”
在電話中，李宗仁還說，你不但要守到明天拂曉之後，今夜你還須向敵夜襲，以打破日軍明晨拂曉攻擊的計劃，則湯軍團於明日中午到達後，我們便可對敵人實行內外夾擊！
孫連仲和李宗仁通電後，在臺兒莊內親自督戰，並命令池師長說：“士兵打完了你就自己上前填進去。你填過去了，我就來填進去。有誰敢退過運河者，殺無赦！”
池師長奉命後，知軍令不可違，乃以必死之決心，逐屋抵抗，任憑敵人如何衝殺，也死守不退。所幸戰到黃昏，敵人即停止進攻。及至午夜，我軍先鋒敢死隊數百人，分組向敵逆襲，衝進敵陣。人自為戰，奮勇異常，部分官兵手持大刀，向敵砍殺，敵軍血戰日久，已精疲力竭，想不到至此最後五分鐘，我軍尚能乘夜出擊。敵軍倉皇應戰，亂作一團，血戰數日為敵所佔領的臺兒莊市街，竟為我一舉奪回四分之三，斃敵無數，敵軍退守北門，與我軍激戰通宵。
長官部半夜得報，我湯軍團已向臺兒莊以北迫近，天明可到。午夜以後，李宗仁帶領隨員若干人，乘車到臺兒莊郊外，親自指揮對磯谷師團殲滅戰。黎明之後，臺兒莊北面炮聲漸密，湯軍團正在敵後出現，敵軍撤退不及，遂陷入重圍。李宗仁親自指揮台兒莊一帶守軍全線出擊，殺聲震天。日軍血戰數旬，已成強弩之末，彈藥汽油用完，機動車輛被擊毀，其餘也因缺乏汽油而陷於癱瘓。全軍喪膽，狼狽突圍逃竄，潰不成軍。我軍士氣旺盛，全軍向敵猛追，銳不可當。敵軍屍橫遍野，被擊毀的各種車輛、彈藥、馬匹遍地皆是。磯谷師團長率殘敵萬餘人突圍竄往嶧縣城，閉門死守，已無絲毫反攻能力了。
會戰結束後，日軍傷亡、失蹤約計為三萬餘人。坦克被毀30餘輛，擄獲大炮機槍等戰利品不計其數。