祖逖本打算攻城，參軍桓宣說，大家其實都是自己人，都是漢民，也曾是東晉子民，有話好商量。我正好又和張平、樊雅有過一面之交，不如我進去勸降。
能用嘴皮子說下來這個城池當然更好啦。祖逖於是派桓宣入城。張平、樊雅也是講道理的人，說現在天下大亂，自己在這裡割據無非是據兵以自保，混口飯吃。桓宣說，混能混到什麼時候呢？不如干點兒正事吧。你看，我們是東晉派來的正規軍，打算北伐恢復晉室，你們不如加入我們。大家一塊兒立功建業不好麼？
張平、樊雅說好啊，兩下里很快談妥。祖逖又派參軍殷義進城收編。殷義是個自命不凡、十分欠揍的傢伙。他進城後故意侮辱張平，指著他的軍府說：&ldo;此屋也就能當馬廄。&rdo;又指著府中一個大鐵鍋說，&ldo;此玩意兒放這兒也是個廢物，不如化了鑄為鐵器。&rdo;
張平不高興道：&ldo;這是帝王鑊，以後咱們北伐成功天下清平後還要用的，怎麼能毀去？&rdo;
殷義斜著眼看了張平一眼道：&ldo;你的腦袋還不定能不能保住呢，你還想保一個破鐵鍋？&rdo;
張平本來就是個粗人，此時再也忍不住了，先把殷義的腦袋砍下。他認為祖逖有意派這個東西來侮辱自己，遂關上城門死守，又把殷義的首級懸在城頭示眾。祖逖見殷義被殺，也沒鬧明白，不過翻臉是肯定的了，當即率兵攻城。張平率眾死守。一連數天祖逖攻不下來。後來還是桓宣勸降了張平手下大將謝浮，殺死張平才得以攻下城池。樊雅率兵前來報仇，被祖逖打得大敗，戰死軍中，剩下的人一看主將死了，便一齊都投降了。
這時又有佔據蓬陂、陳留（今河南開封）的乞活軍首領陳川派大將魏碩在祖逖所佔的各縣搶掠，祖逖派韓潛設伏殺敗魏碩，一直追到蓬陂。陳川猝不及防連丟幾城，知道不是祖逖的對手，乾脆投降了石勒。石勒派桃豹領兵去與祖逖交戰。兩軍相持了將近兩個月，韓潛的軍糧漸漸緊缺。因為當時河南和安徽等地連年戰亂，許多地都撂荒了，很少有人種田。祖逖的軍糧絕大部分需要從江東運來，因為道遠，所以難以為繼。
祖逖判斷對方深處河南，糧草需從黃河以北接濟，必定也有糧荒，遂派人繞道桃豹背後，劫了桃豹的軍糧。桃豹一看軍糧無繼，只好撤軍，祖逖因此得了蓬陂，大軍進入河南。
這時河南有滎陽太守李矩駐兵在新鄭，河內太守郭默駐兵在懷縣，河東太守魏該駐兵在宜陽，這些人都是流民，也算是乞活軍的一部分，平時各自為政，遇有敵人來襲時便聯手互保。他們聽說祖逖進兵河南，便一齊歸順了祖逖。接著，駐守洛陽的漢國大將趙固獻城給李矩，也加入到祖逖的軍隊來。劉聰聽說祖逖盡佔河南、安徽之地，便命太子劉粲率軍十萬來攻洛陽。趙固守不住洛陽，敗走陽城山（今河南焦作）。這時李矩、郭默等援兵才剛剛趕到，與劉粲對峙於洛陽城外。
李矩、郭默、趙固、魏該等軍半夜襲擊劉粲，劉粲沒有防備被殺得大敗，率敗軍退到黃河以北。因為晉軍偷營時都喊&ldo;生縛劉粲，以贖天子！&rdo;劉粲逃回平陽後奏請劉聰殺司馬鄴，說只有殺了司馬鄴才能動搖東晉北伐的決心。
劉聰猶豫道：&ldo;我以前殺了司馬熾，民心還不是這個樣子？照樣有新的皇帝被晉朝擁立！還是不要殺司馬鄴了。&rdo;
劉粲道：&ldo;當年周武王難道想殺紂王麼？不過是怕他成為日後的禍患。現在祖逖所過之處，投奔者甚眾，都以迎還司馬鄴為號召，我看應當早除此人！&rdo;
劉聰被說動了，遂殺司馬鄴，此時為公元317年12月。
訊息傳到江東，已經是公元318年3月，建康百官遂請司馬睿稱帝，劉琨、段