劉裕一路狂奔，回到京口，這時京口的何無忌已經聯絡了一大批北府兵舊將和其他反楚的中下級官吏，劉裕被推為起義首領。劉裕安排下三路人馬，分別進攻青州刺史桓弘，徐、兗二州刺史桓修和豫州刺史刁逵。
京口這一路，劉裕和何無忌化裝成欽差大臣帶著一百多人來到桓修府中，等恆修出來迎接時，一刀將桓修劈死，因為京口士兵大多為北府舊部，是劉裕和何無忌的老部下，所以都投降了劉裕。司馬刁弘率自己的軍隊來戰，劉裕很快將刁弘擊敗，收降其部下，佔了徐、兗二州。
廣陵這一路，劉毅在桓弘手下做參軍，劉道規為參軍，孟昶為主簿，三個人一起邀請桓弘出去打獵。桓弘未加防備，一口答應。在打獵的那天早上。三個人帶上打獵的刀槍劍戟直接走到桓弘的客廳，桓弘正在吃早飯，看見三個人拿著兵器還納悶他們怎麼這麼著急。哪知道三個人一齊圍上來用這些打獵的武器把桓弘給殺了，也收降了青州計程車兵。劉道規據守廣陵，劉毅和孟昶帶兵去京口和劉裕會合。劉裕讓孟昶守京口，然後挑出一萬多精兵，攻向京師。
歷陽這一路，諸葛長民卻被刁逵先發制人，反被擒獲。刁逵把諸葛長民等人裝入囚車中送往京城。
桓玄聽說劉裕等人造反，不由大驚道：&ldo;劉裕是當世英雄，劉毅為人傑，何無忌的軍事才能不亞於他的舅舅劉牢之。這三個又一起聯合起來反對我，我就要敗啦！&rdo;這時桓謙大哭闖入，一定要請桓玄出兵擊殺劉裕，為二弟桓弘報仇。
桓玄道：&ldo;劉裕雖然兵少，但這個人打仗很厲害，手中又握有善戰的北府兵，如果出兵對決，一旦戰敗，大勢去矣！不如把所有的軍隊都收縮到覆舟山一帶防守。劉裕行軍數百里不見一兵一卒，忽在覆舟山見我數倍於他的大軍，軍心必懼。我們堅守不出，劉裕的軍隊久攻不下，軍心會更加動搖。到時，劉裕自然會退兵。&rdo;但桓謙一定要桓玄出擊，為二弟報仇。桓玄被他纏得沒有辦法，就派頓丘太守吳甫之、右衛將軍皇甫敷先後北上去攻劉裕。
吳甫之率三萬兵在江乘與劉裕的部隊相遇。吳甫之先擊敗前鋒何無忌，但劉裕的中軍隨後殺到，又大敗吳甫之的部隊，並殺死吳甫之。劉裕帶軍隊追殺吳甫之的殘兵，追到羅落橋的時候，皇甫敷率領五萬大軍趕到。兩軍混戰一番後，劉裕因為兵少，被楚軍分割包圍，劉裕手下將軍檀憑之被射死。在這危急時刻，劉裕帶一小隊人馬，奮力殺向皇甫敷，把皇甫敷殺死。皇甫敷死後，形勢頓時逆轉，失去主將的楚兵紛紛撤退，劉裕趁勢掩殺，沿途又徵招降兵，很快壯大成為一支三萬人的隊伍。
桓玄急忙任命桓謙為徵討都督，令遊擊將軍何澹之率兩萬人守東陵，又命卞範之率一萬兵防守覆舟山，作為東陵後援。劉裕進兵至東陵，很快擊潰桓謙的軍隊，接著又攻下覆舟山。桓謙、何澹之、卞範之逃回京城，對桓玄道：&ldo;劉裕的兵力很強，漫山遍野，不知有多少。你快逃吧！&rdo;桓玄也被嚇壞了，帶著三個人和數千親信及士兵挾持著晉安帝和司馬德文倉皇逃出京城。前相國參軍胡籓拉住桓玄的馬籠頭道：&ldo;現在你還有八百羽林軍射手，身邊也有數千人，為什麼不去和劉裕決一死戰呢？今天你離開京城，就再沒有回到京城的那一天了。&rdo;
桓玄無以作答，只以鞭指了指天，表示這是天意，便率眾人逃到石頭城，又從石頭城乘船西逃。一路上桓玄心情難受，剛當上皇帝沒幾天就被人家趕下臺，這皇帝做的還不如安帝那個白痴。他難受得連一口飯都咽不下去，還是他的兒子桓昇替他撫胸才得以嚥下。等到了潯陽，江州刺史郭昶之迎接桓玄，桓玄遂命何澹之和郭昶之守在湓口，自己與桓謙、卞範之等人，脅持晉安帝和司馬德文退回江陵。
劉裕的軍隊