不過，司馬越趕上的這個時代實在是太亂了。他剛剛毒死晉惠帝，劉淵便把幷州都督司馬騰痛打一頓，佔據了晉北。司馬越一時抽不出兵來，劉輿遂向司馬越舉薦他的弟弟劉琨為將。司馬越知道劉琨打仗很行，便命他為幷州刺史，他直接對付劉淵，而把司馬騰調到了冀南的鄴城。
司馬騰早被劉淵打怕了，一接到司馬越的調令，沒等劉琨前來，自己就先帶著兵馬及大部分百姓跑到河北了，給劉琨留下一座空城。劉琨是光桿司令，一路走一路招兵。由於山西戰亂頻仍，又被司馬越帶走了一大批百姓，到處少見人煙，豺狼當道，一直走到了幷州才招了五百多人。幷州留下的都是一些老弱病殘的百姓，個個面帶菜色，羸弱不堪。戰死和餓死的屍體已經變成了白骨，被野狗叼來叼去。劉琨帶著人把街道清理了，房屋修好，城牆加固，又貼出告示，召流民回來耕種荒廢的土地。這時劉淵已經繞過晉陽，直向南攻，很快佔據了除晉陽外的整個山西省。
劉琨這邊守住了晉陽，司馬騰卻沒能守住鄴城。汲桑和石勒被兗州刺史苟晞擊潰以後，落草為寇，竟然很快弄了上萬兵馬，不久又捲土重來，再攻鄴城。司馬騰派大將馮嵩帶三萬兵出戰。馮嵩打了一個大敗仗逃了回來。司馬騰奇怪地問道：&ldo;你帶三萬正規軍難道打不過一萬土匪麼？&rdo;
馮嵩道：&ldo;戰士們很久沒有發餉了，過的還不如土匪呢！怎麼能好好打仗？現在國庫空虛，您不如把家裡的錢拿出來來激勵將士，這樣才能取勝！&rdo;
司馬騰一聽就怒了：&ldo;你怎麼不把你家的錢拿出來？&rdo;
馮嵩道：&ldo;我那點家產頂個屁用，誰像你有數億家資。再說了，如果鄴城被奪去，你那數億家資還不是被人家奪了去？&rdo;
司馬騰一想也有道理，於是命家人把米和布拿出一部分來給大家分，因為實在捨不得，拿出來的並不多，每名士兵不過分到幾天的糧食和只夠做一身衣服的布。將士們見司馬騰這麼摳門，誰還肯為他賣命，領了東西便一鬨而散，跑個精光。司馬騰這下著急了，再想攜家資逃跑，連趕車的車夫都找不到了，只好撿些黃金細軟騎了快馬離城南逃。在城外司馬騰被汲桑部將李豐追上刺死，最終落得個人財兩空。汲桑、石勒本就是做土匪的，進入鄴城之後，把鄴城大大地搶掠一番，又殺了不少百姓，臨走放一把大火，竟把鄴城給燒了。所謂殺人放火搶東西，真是和強盜沒有任何分別。
二人搶完燒完，又舉兵向南，直襲兗州，去攻老仇家苟晞。
苟晞和他的弟苟純、部將王贊帶兵拒敵。汲桑、石勒雖擁有威力很大的精騎兵，但魯西以山地為多，苟晞的步兵並不吃虧，所以雙方打了幾仗，不分勝負，形成僵局。苟晞極善用兵，知道汲桑和石勒兩軍中汲桑最弱，於是派苟純連夜率三千精兵去東武陽設伏，又請冀州刺史丁紹斷汲桑和石勒北逃的後路。安排停當，第二天出兵和石勒混戰。汲桑本來準備整軍增援，哪知道剛走了不一會兒，後營苟純偷襲，急忙回去，又被苟純伏擊。汲桑大敗，幸虧石勒發現右軍出了問題，整兵回救，這才把汲桑救下。但苟晞也乘勢追殺而來，石勒等人來不及整軍，一路敗了下去，敗到河北，又遇到丁紹的伏兵，汲桑、石勒在亂軍中失散。汲桑在今天冀魯的交界處樂陵遇到了司馬騰的舊將田蘭和他所帶的幾百散兵遊勇，落地的鳳凰不如雞，汲桑被手下敗將田蘭捉住殺死。
石勒輾轉逃回上黨武鄉，這個地方活動著一支數千人的土匪，匪首叫做張背督。石勒找到張背督，問道：&ldo;現在劉淵佔據了整個山西，你認為你能在山西一直立足下去麼？&rdo;
張背督道：&ldo;當然不能了。&rdo;
石勒道：&ldo;既然不能，