這時張賓已經走遠，石勒於是帶兵北行。晉軍見石勒不帶輜重，也不敢追趕，石勒得以從容北去。然而石勒所到之處，所有的糧食都被收割光了，村莊裡的人則全部跑到城裡去了。石勒的軍隊來到河南後，這裡又是歷年徵戰之地，更是沒有人煙。石勒的軍隊實在是餓得沒有辦法，先是殺馬而食，最後竟然殺掉傷兵弱兵作為食物。一直捱到黃河南岸。有汲郡人向冰聚眾數千為匪，將黃河南岸的所有船隻收走。石勒的大軍無法渡河。石勒先派鮮於豐去攻打向冰。向冰雖是地方土匪，卻十分勇猛，竟然把鮮於豐給打敗了。石勒親自帶兵上陣，才把向冰的營壘攻破。這一仗收穫頗豐，不僅奪得了渡河的船隻，還從向冰的老巢中搜出大批的糧食。石勒軍心大振，揮師渡過黃河，直奔自己原來的根據地鄴城。
石勒出傾國之兵先取河南，再下江東，在河北留下來的守城士兵很少。石勒本以為北方除了漢主劉聰，再沒人敢招惹他，也沒人有這個能力和他較量，所以才敢以傾國之兵南下。可偏偏就有一個人不信邪，這個人不是別人，正是當年帶了五百兵丁來晉陽，竟然在劉聰的地盤內紮下根來，固守晉陽多年的劉琨。
劉聰之所以不去打眼皮底下的劉琨，是因為他知道劉琨並不好惹，要拔去晉陽這根釘子得費點工夫，但劉琨兵力不強，守有餘，攻不足，所以劉聰也不著急先滅他，而是一直致力於去攻取洛陽、長安等晉地。當然，其中他也有一次派兵去試攻過晉陽，結果手下大將劉虎，被打得大敗，全軍覆沒，劉虎一路西逃，直逃過黃河到了陝西才敢停步。
劉琨又與北方新興起的拓跋鮮卑族結為聯盟，與該族的首領拓跋猗盧結為兄弟。兩者聯兵掃掠晉北。結果猗盧佔領相當於今天大同、朔州的地盤，劉琨佔領相當於今天忻州、太原、呂梁、晉中、陽泉等地，基本上瓜分了山西的中部和北部地區。猗盧即由雲中進入雁門，部落越發興盛。劉琨也趁這個機會發展起來，勢力漸強。他見石勒南下，便派劉輿的兒子劉演奪了河北鄴城，劉輿也是劉琨的哥哥，當年接手了範陽王司馬虓的鄴城，縊死司馬穎。現在劉演重佔鄴城，也算是物歸原主了。除了鄴城，劉琨的勢力一直達到山東西部，一時成為北方的諸強之一。
石勒見鄴城已失，便要猛攻。張賓說，鄴城易守難攻，劉演也有上萬兵馬，硬攻既消耗兵力也浪費時間。河北這麼大，您再找個地方先把兵馬歇下再說。自古得地者昌，失地者亡。等您安定軍心，休養生息，籌集糧草，發展生產之後，然後再攻天下，立霸業也不遲。
於是石勒在襄國（今河北邢臺）立住腳，又攻下被劉琨佔去的冀州，在河北算是安定下來。這時劉琨把石勒的母親給送來了。
石勒早年被賣為奴隸，從那個時候就與他的母親王氏離散，已經有很多年不見了。劉琨是個有心人，一到了幷州，便派人到處查訪，終於將王氏找到，然後帶到自己的府中，像對待親生母親一樣侍奉。等石勒回到河北時，劉琨便派人把石勒的母親送去，並附勸降信一封，希望石勒能&ldo;共扶晉室&rdo;。
恩情是恩情，事業歸事業，一碼是一碼，石勒當然不會答應，派人給劉琨回送了珍珠寶馬，拒絕了劉琨的勸降。劉琨見了石勒的回信，長嘆一聲道：&ldo;這是上天不保佑晉朝啊！&rdo;
這時晉朝大約分為四個割據地方。其一為晉陽的劉琨，其二為東北幽州的王浚，其三為長安的皇太子司馬鄴，其四為江東的琅琊王司馬睿，正所謂四分五裂。
其中王浚是個很有野心的人，他得到少帝被劉聰的漢國俘虜的訊息，又有許多中原人士投奔到他這裡，便自稱有人把少帝的密詔也帶到了幽州，說是請王浚為尚書令，節制百官，號令天下，說白了就是讓他代行皇帝的一切權力。王浚雖無皇帝之名，但有皇帝之權