永昌二年（323），劉曜率大軍三十萬，向西去攻取涼州。剛在涼州的河東紮下營來，涼州河東的守兵便望風而逃。劉曜的手下大將見戰事如此順利，都十分興奮，一致請求劉曜乘勢西攻，一鼓作氣，拿下涼州。
劉曜道：&ldo;從表面上看我有三十萬大軍，光紮下的大營就數以萬計，遮天蔽日。其實其中有三分之二的人不是咱自己人，是各個民族迫於咱們國家的威勢才跟隨而來的，倉促應戰，並沒有必勝的把握。不過，只要咱們按兵不動，每日把三十萬大軍調出來列隊操練，故意讓涼州兵看到，僅以我方的威勢就能震懾住對方。不超過十日，張茂的降表必到。&rdo;
三十萬大軍操練起來是個什麼樣子，幾千隻大鼓敲起來又是什麼聲音，那陣勢的確把涼州上下給鎮住了。劉曜且令將士向對岸揚言道：&ldo;將百道俱濟，直抵姑臧！&rdo;涼州大震。
這時候涼州牧張蹇已於兩年前亡故，世子張駿年紀還小，國家政事由張蹇的弟弟張茂負責。張茂召開軍事會議，商量怎麼辦。軍事參謀陳珍分析說：&ldo;劉曜的兵馬雖多，但精兵極少，大多數為氐、羌等少數民族，憑劉曜的威信恩德還不足以能真正統馭這些人，所以他絕不可能快速拿下涼州；而劉曜的東面還有石勒這個後患，他也不敢跟我們打持久戰。您只需撥給我一萬兵馬，我便可使劉曜退兵。&rdo;
張茂聽陳珍分析得很有道理，乾脆親自率領三萬兵馬前去迎陣。哪知道他在前線一見到劉曜的三十萬大軍，當時就暈了。只見帳篷接天連地，一眼望不到邊；旗幟遮天蔽日，如海洋一般；鼓聲如雷，殺聲似濤。這麼大的陣勢，張茂想都沒想過，更別說見到過了。
張茂回營後說，這可不能打啊，我要和這樣的軍隊打，不是白白送死麼？
張茂手下的幾個軍事參謀都勸張茂一戰，說劉曜是勞師遠伐，人心不齊，不能久戰，和劉曜打起來未必就會輸；而且人家打到家門口了，你一仗沒打就認輸，很丟面子的，以後你還怎麼在涼州混？
張茂想了很久，還是決定投降，不過這個投降是有條件的，只稱藩稱臣，按期納貢，不交出兵權和地盤。如果劉曜不同意這樣的條件，那就決一死戰。第二天張茂向劉曜獻了降表，並上一千匹馬，幾千頭牛，十萬隻羊，還有美女、黃金和西域珍寶物產。劉曜也好說話，收了東西，交換了文書，接受了張茂的投降，任命張茂為涼州牧，封為涼王，隨後還兵長安。
劉曜兵馬撤走後，張茂覺得自己對不住晉室，憂恨成疾，於第二年五月病死，臨終前囑託張駿道：&ldo;我們張家世代擁奉晉室，如今雖天下大亂，仍不可改。將來你要替我為涼州恢復晉臣的身份。&rdo;
張茂病死後，侄兒張駿繼位。劉曜拜張駿為上大將軍、涼州牧、涼王。張駿迫於當時的形勢，只好接受，並派參軍王騭出使長安稱謝。
劉曜親自接見王騭，問他道：&ldo;你們能保證長期向我們稱臣麼？&rdo;
王騭答道：&ldo;不能。&rdo;
劉曜奇怪道：&ldo;為什麼？&rdo;
王騭道：&ldo;春秋的時候，齊桓公在貫澤召天下諸侯會盟，當時憂心忡忡，害怕憑自己的威信沒人會來尊自己為盟主，結果卻是所有諸侯都很快地來了。後來齊桓公又在葵丘會盟，自認為國家強大，盛氣凌人，其實國家已衰，結果有九個國家叛盟不來。如果您趙國能夠保持現在的強盛，我可以擔保涼州永不叛趙。如果趙國衰微，那就連身邊的變化都不能察覺，更何況鄙州呢？&rdo;
劉曜聽了不怒反笑，嘆道：&ldo;你真乃涼州之君子也，張駿真是會選大使啊！&rdo;
劉曜定了涼州，遂又出師東徵。