桓玄此時還有親信千餘人，得敗訊後趕忙令殷仲文在石頭城備船，自己立即動身前往石頭城準備沿水路逃走。這時胡藩牽住桓玄的馬進言道，“主公，我們這千餘人世受桓大司馬之恩，無以爲報，今日形勢危急，必能爲桓氏一戰。賊裕歷經三戰精力已竭，況且他們現在盲目追敵，方寸已亂。我們若奮力反擊，定能反敗爲勝。若舍此不戰，退又能退到哪裡呢？”桓玄指天不語，甩開胡藩，去派人接來妻子家人。當時劉靈玉正奏廣陵散，調聲高亢，戈矛氣息交縱，指法轉急，忽然第七根絃斷開，暗思必有事發生時，桓玄所派之人趕到。
桓玄帶一衆親信上船，浮江南走。此時的他悲懼交加，連日滴水不進。桓玄的小兒子桓昇才五歲，卻很是懂事，將粥端至父親跟前“父親，你多少要吃點啊。餓了會很難受的，身子也受不了。”桓玄這才勉強進餐。睡前，桓昇又給桓玄捶背。桓玄撫摸着兒子的頭，說道“我的乖兒子，爲父對不住你，讓你跟着受苦了。”“孩兒願一直都陪在父親身邊。”有兒子的陪伴，桓玄才稍感安慰，夜晚聽着波濤聲，看着寥落星辰，慢慢睡了。
劉裕順利進入建康城。時東晉朝政寬馳，綱紀不立，豪族欺凌，小民窮困。劉穆之做劉裕主簿後，裕託以腹心，小大事情都諮詢他，穆之也竭節盡誠，無所遺隱。斟酌時宜，隨方矯正綱紀。而劉裕則以身作範，先以威禁，百官肅然奉職。很快，上下風俗一變，官民安然。
刁逵逼問諸葛長民，得知反抗桓玄之事後便將長民押入檻車，把其送往建康桓玄處。長民之弟諸葛黎民暗中打聽到此消息，帶十餘名壯士於其必經之路在暗中埋伏。檻車經過時，把押送之人殺掉，解救出了長民。不久，又傳來了桓玄敗逃的喜訊。於是長民兄弟號召民人來反攻，進入歷陽城，活捉刁逵，押送給劉裕。劉裕見後笑道“哈哈，莊家。我的老朋友，好久不見。我們今番再賭一把如何？就賭你的命！你賭活還是死啊？”“哼，你個奴才！挾私報復是吧。就恨當日把你抽得不夠重。”劉裕也不生氣，說道“當時是我錯在年少輕狂，你鞭打之事我不再計較。只是你引誘良人入賭，趁機傾敗人家的田產。害民無數。這我豈能饒你？”刁逵嘆道“就知道你不會放過我。沒想到你個混蛋也有今天，該我命絕！”言後劉裕就派人將他殺了。
桓玄西逃至尋陽，鎮守於此的郭昶之非但不趁機將他拿下，反倒資助給他兵力、器用。郭昶之曾擔任禁衛軍將領多年，竟於此際還傾向桓氏，這讓劉裕等人很是驚愕。桓玄讓郭昶之守住湓口，自己挾持着皇帝繼續西逃。劉裕看建康尚未安穩，便留了下來。這時劉道規帶領廣陵兵士渡江來到，劉裕大喜“吾弟到來，桓玄亡無日矣！”就讓劉道規與何無忌、劉毅等去追敵。桓玄爲保住湓口，讓自己的江夏太守帶三千人與何澹之東下共守湓口。這時他又巧遇胡藩，在覆舟山敗後，胡藩與桓玄失散，胡藩一直追尋桓玄，終於遇到了，桓玄就派胡藩幫助鎮守湓口。
四月末桓玄帶帝逃回到江陵。這時無忌劉道規已帶軍進至桑落洲，何澹之前來迎戰。澹之所領水軍，舳艫相連橫跨兩岸，縱橫不見其際。旌旗蔽空，順風飄展。敵衆我寡，晉軍將士皆有懼色。何無忌鎮定的說道“將士們，賊玄已經敗逃，所剩不過是些蝦兵蟹將，徒有其衆，實是不堪一擊。我等奮力，破之不難。”
兩軍距離越來越近，敵方有一艦高出其他船丈餘，旗幟鮮明，儀仗華盛。無忌言道“膽小鼠輩，必不敢故意暴露自己位置，一定是想詐我。我們不妨將計就計，把它攻下！”諸將士多持異意，劉毅說：“澹之一定不在此船，攻下也起不到多大作用。“只有劉道規不發一言。無忌望了道規一眼後說：“澹之既不在此，此船戰士必弱，我以勁兵攻之，定能攻下。攻下後，我們傳言已得賊帥，衆賊疑惑而懼，我軍士氣大增，攻之必克！“道規此時大喜說道：“真乃名計也！“於是無忌就帶領數船直衝此艦。果然艦上敵軍不堪一擊，無忌之船靠近後，揮劍斬斷數根槍戟，力殺幾名敵兵，親自帶衆登上敵船。攻佔敵船後，令軍士們大喊“哈哈，何澹之已經被活捉！”晉軍近處船隻聽後士氣大奮，也都紛紛傳道“活捉了何澹之！”何澹之所將軍士很多信以爲真，驚慌了起來。而何澹之膽懼，更不敢向己軍說明自己仍在，怕暴露了自己的位置。
無忌道規等趁勢領軍疾攻，敵軍大敗。爲晉軍所殺者、落水者不可勝數，鮮血染紅了江水，在夕陽的光照下，更增其慘。何澹之於亂中被一流矢所傷，倉促帶領數船逃亡。郭昶之逃亡之船急駛中觸礁，慌忙上岸，被晉軍追及剁成了肉醬。敵軍船毀無數，落水者紛紛攀船欲要逃走，奈何船少兵多不堪承載，船將傾覆之際，船上兵士開始將刀揮向攀船同胞，船上的手指多得難以清數，更多的手指又落入了江中。哀嚎呼痛之聲久久迴響在江面。
胡藩當時帶領數只船且佔且退，來掩護己方撤退船隻。晉追軍緊逼，胡藩被包圍，與其前軍遠離，身旁軍士一個個都被殺掉。胡藩見勢不支，砍殺幾名跳到自己船上的晉兵後跳入江中。晉軍好久沒見他露出，都以爲他自殺了，也就不再去管。他們豈知那胡藩素有勇力，又善潛水，胡藩披着重鎧在水中潛行了百餘步，最終得以登岸，藏身於草叢中，準備等夜晚來臨後逃走。
晉軍開始收軍。忽然有人聽道岸旁草叢中有人發出噴嚏聲。數名軍士循聲趕忙去搜察。軍士們持槍撥草前探，現出一將，正是胡藩。胡藩上岸後隱藏的時間久了，水分蒸發帶走了大部分身上熱量，再經風一吹，實在是太冷了，沒忍住打了個噴嚏，身上也沒了半點力氣，只能束手待擒。就這樣他被押送給了劉裕。
劉裕見後調侃道“聽桓玄稱你爲‘陸上之猛虎，水中之蛟龍’，勇猛如此也有被困之時嗎？”胡藩大喝道“要殺便殺，羞辱何爲？當初主公若聽我言，與你一戰，恐怕你的頭早已被我斬落了！”劉裕部下按劍向前喝到“放肆”。劉裕斥道“退下！”，繼而向胡藩言道“聽聞將軍忠義，可否留在我府中，做一領軍，幫我平定四海如何？”“我爲桓氏之將，若轉投於你怎對得起忠義二字？”劉裕說道“將軍此言差矣。桓玄篡晉，乃是國賊。你雖受桓氏之恩，但需明大義，做賊之臣子豈得爲忠？況且如今桓玄死期將至，我就是放了你，你還能投奔於誰呢？”
一番話讓胡藩有些心動，正考慮時，劉裕忽然說道“你不願就算了，我不忍殺你，你走吧！”讓部下爲其鬆綁，“放了他，任何人不得阻攔！”部下說道“主公，此人實是桓玄賬下一厲害角色，若放虎歸山，怕有後患啊!”劉裕不聽。待胡藩走後些時，劉裕對部下微笑着說道“他一定會回來的！”果如其言，不到半個時辰的時間，胡藩就回來了。劉裕與其握手談兵，甚是欣慰。