劉曜忙親率三萬人來救。等趕到石樑戍時，劉嶽已經斷糧數日，只能靠殺馬為食。石虎讓石生率兩萬人繼續圍困石樑戍，自率兩萬人對陣劉曜。兩軍交戰十多天不分勝負，都人困馬乏。
石虎帶著兩萬人回去和石生圍困劉嶽的兩萬人換了一下，第二日又來戰。劉曜的人已經累得要命了，而石虎新換上的這兩萬人都是生力軍，結果劉曜便大敗，退軍三十里。石虎並不帶大兵去追，而是派兩千精騎兵跟在後頭。一到三更半夜，就在劉曜的營外敲鼓放炮，並圍在四面大喊道：&ldo;石虎來劫寨了！&rdo;
劉曜的軍隊真的以為有人劫寨，褲子都顧不上穿，騎上馬就跑。就這樣劉曜一直跑到前趙國，石虎的兩千精騎才退回去。劉曜的軍隊雖然沒有傷亡，卻在一路上跑散了一大半，直到退回長安之後，才陸續有士卒回來。
石虎這邊從從容容地攻下了石樑戍，還是老規矩，把所有的降將降兵全部挖坑活埋。一共坑殺劉嶽及其將佐八十餘人，坑士卒萬人。劉曜得知，出城祭奠，大哭七日，方才入城。
劉曜統一北方的雄心受阻，至此消沉起來，開始大興土木，先前停建的酆明觀與西宮又建了起來，又為自己在霸陵西南修築壽陵，後來又在滈池建起陵霄臺，動用了大量民力。
一些大臣也勸阻說這樣做太勞民傷財了，不是咱們這樣的國力可以承受得了的。劉曜不但不聽勸，建完這些大型工程之後，又開始在粟邑為他的父母建造大陵。這個大陵光地基就周長二里，高有百尺，動用六萬男子為役，百姓不堪其苦。許多大臣勸諫，劉曜仍是不聽，又常在宮中設宴，與公卿聚飲，而不許談論朝政。
五年之後，即咸和三年（328）七月，石勒覺得時機已到，命石虎帶著他的四萬精兵來攻前趙。
石虎先佔蒲阪（今山西永濟蒲州鎮），再向西一路攻城略地，沿途五十餘縣紛紛投降，警報如雪片般飛入長安，劉曜命只有十多歲的太子劉熙與自己的二兒子南陽王劉胤守住長安，親自率國中十五萬精銳兵士去和石虎決戰。
劉均勸道：&ldo;皇上您只需派一名上將就足夠了，不應當親自出戰！&rdo;
劉曜哭道：&ldo;劉嶽之死，朕時時不能忘記。正要報當年洛陽之仇，怎能不親自出戰？&rdo;遂由衛關北渡黃河，分十路包圍石虎軍。石虎見對方勢眾，急忙率軍撤退。劉曜一路窮追猛打，石虎損兵折將，四萬精兵，損失大半，直逃到朝歌（今河南鶴壁淇縣朝歌鎮）方才立住腳。
劉曜乘勝由大陽關南渡黃河，再攻洛陽。石生不敢出戰，死守城池。劉曜攻了半個月也沒有攻下。因多日不克，劉曜便把洛陽邊的大堤給決了，水淹洛陽。洛陽城內的百姓和士兵找到地勢高的地方居住，繼續守城不降。又過了三個多月，劉曜見實在是難以攻下洛陽，便分兵先取了汲郡（今河南衛輝市）、河內（今河南部泌陽）、滎陽（今河南滎陽）和野王（今河南博愛縣）。後趙震驚。
石勒親自去救洛陽，右長史程遐說：&ldo;劉曜現在勢頭很猛，和他正面衝突討不到便宜。洛陽城堅糧足，他一定攻不下來。而劉曜孤軍深入千里之外，肯定不能持久，不如等他打累了，自然就會退兵。您不應當出師。&rdo;
石勒聽程遐說得很不像話，大罵道：&ldo;你知道個屁！胡說八道什麼！&rdo;讓人將程遐趕了出去。這時候右侯張賓已經病死，石勒總覺得每次遇到大事，便缺少一個得力的人商量，很是不爽。這時記室參軍徐光走進來道：&ldo;別人認為劉曜勇不可當，我認為劉曜只是一勇夫而已。&rdo;
石勒聽了眼前一亮，遂問為什麼。
徐光道：&ldo;劉曜不直接乘勝進攻大趙國的首都襄國，反而跑去圍攻並不重要