殷浩聽了很不高興：&ldo;你小看我沒有軍事才能啊，我偏要打幾個勝仗讓你們看看。&rdo;
朝廷裡北伐的呼聲也比較強烈，絕大多數人都支援殷浩北伐，於是朝廷准奏。殷浩率十萬大軍出師，以謝尚為前鋒，姚襄為副將，進兵許昌。
張遇兵少，苦守許昌不敢出戰，眼看城將攻破。苻雄率兩萬騎兵，苻菁率兩萬騎兵，分別殺來。晉軍和秦軍一場大戰。殷浩支援不住，先帶著自己的部隊逃了。謝尚、姚襄苦苦支撐，最終還是大敗。晉軍迅速南逃，秦軍在後緊追不捨。姚襄急命扔掉一切糧草、輜重、衣服、飯盆……除了武器其他東西全部扔掉，這才逃回到淮南。而殷浩跑得更快，早就逃回壽春。
姚襄回到譙城（今屬亳州市），命令手下在淮河兩岸屯田種糧，並訓練將士，準備北伐。殷浩認為姚襄要自立，但又找不到什麼理由除去姚襄的兵權，便派刺客許敬去暗殺姚襄。
許敬潛入姚襄的軍帳，但被姚襄俘獲。許敬被抓住後，立刻就招認是殷浩派他來的。姚襄拿自己的頂頭上司沒辦法，只好殺了許敬，以後更加防備。殷浩一連派了十幾個刺客，個個有去無回，最後再沒刺客敢去了。殷浩覺得這也不是個辦法，又派魏憬率五千精騎兵，去偷襲譙城。不料姚襄竟然早就埋伏了人馬，將魏憬殺敗，魏憬被擒殺。剩下的降兵被姚襄脫得精光，讓他們光著身子回去告訴殷浩，不要逼人太甚。兔子急了還咬人，何況我姚襄比兔子強多了。
打發完這批降兵之後，姚襄越想越氣，又派參軍權翼去壽春質問殷浩。殷浩當然不承認，百般抵賴，就是權翼拿出證據，他也是瞪著眼睛不認帳，還說：&ldo;你去告訴姚襄，我從來就沒有害他的意思，讓他盡可放心。&rdo;
姚襄哪裡放得下心，更加痛恨殷浩。
東晉永和九年（353）十月，殷浩又起兵十萬北伐，由壽春出兵。這次命姚襄為前鋒。姚襄和部下經過討論認為，這是殷浩借刀殺人，讓他的軍隊和秦國軍隊火拼。而且，如果敗了，姚襄必被怪罪，難免殺身之禍；如果勝了，則是為殷浩建功立業，自己反受其制。商量來商量去，姚襄決定給殷浩一個教訓。
姚襄派兵悄悄南行，在山桑（今安徽蒙城北）埋下伏兵。然後派人向殷浩報告說：&ldo;姚襄密謀要逃跑投奔前秦。&rdo;
殷浩大罵道：&ldo;果然是夷狄難養！&rdo;遂帶所有軍隊去攻譙城，來到山桑卻中了姚襄的埋伏，所有人馬被困在山中，不能施展，任人砍殺，自相踐踏。大將劉啟、王彬被殺，殷浩拼命逃出，逃到壽春閉城不出。姚襄則駐軍盱眙，然後派人去建康說明情況，並呈奏殷浩的罪行。
殷浩名聲掃地，又徒耗國力，朝廷只好不讓殷浩北伐了，召他回京城。桓溫趁機彈劾殷浩猜忌大將，沒有能力，造成國家的巨大損失，影響將士團結，每回打仗都把大批糧草丟給敵人，好像不是去打仗，而是給敵人送糧食一樣；好幾次派刺客，派兵去殺姚襄，終於把姚襄逼急了，卻又打不過人家，等等。
在強大的壓力下，同時也對殷浩這個人的能力產生深深的懷疑，朝廷免去殷浩一切官職，讓他回老家去了。從此，晉廷的內外大權，都是桓溫一個人說了算。
殷浩以前並不愛當官，但自從當官以後發覺當官特別是當大官還是很有意思的，那麼多人聽他指揮，出門前呼後擁，到處都有人巴結，很是過癮，於是回家後悶悶不樂，也很不服氣，常常以手向空中書寫&ldo;咄咄怪事&rdo;四個字。桓溫和殷浩其實是從小玩大的髮小，聽說後讓自己最親信的謀士，參軍郗超給殷浩安排個官做，他對郗超說：&ldo;殷浩這個人做個僕射、尚書令什麼的官還是很能勝任的。&rdo;當時這兩