雖然關羽知道現在是進攻樊城的唯一機會，一旦錯過這一次，以後想要再回來那就實在太難了，可是他卻也不得不率軍退走，畢竟現在後方遭到偷襲，如果不奪回來的話，那就不僅僅是武陵和南郡了，就連荊南的另外兩個郡零陵和桂陽也要丟失，甚至連整個交州都保不住，如果將這些地盤全都丟失的話，就算劉備肯原諒他，他也沒有臉再去見劉備了。
在這一路之上不斷有士兵逃亡，儘管關羽在軍中平日裡威望很高，再加上他愛護士卒，所以深得衆心，可是因爲軍中不少將士的家眷都在江陵城內，現在江陵陷落，他們的家眷生死未知，在這種情況下，心繫家眷的將士們紛紛逃亡。
在這個時期心念妻兒的，大都被人恥笑，可是心念父母的卻都受人尊重，這些逃亡的將士大都以關心父母安危爲藉口，即便是關羽也都無力阻攔。
而不久之後發生的一幕更是令關羽麾下的將士軍心潰散，因爲有不少人得到消息，他們的家眷在江陵都過得很好，孫權軍中的將士們對他們十分尊敬，不僅秋毫無犯，而且還幫扶孤寡，有的甚至發放賑濟糧，讓關羽軍中這些家眷們衣食無憂。
在這過程中甚至有不少人勸說他們的丈夫和兒子，讓他們不要和江東將士作對，而這還算是比較隱晦的，有的都直接說出讓他們的兒子或丈夫投降的話來。
在這種情況下，關羽的大軍還都沒有遇到什麼像樣的敵人，就已經跑了大半，四五萬大軍僅僅剩了兩萬人左右。
“君侯，以我們現在的力量，就算是回到江陵估計也無濟於事了，所以，我們不如不走江陵，直接沿着沔水向西而行，然後再沿着堵水進入上庸，上庸雖屬漢中郡治下，然而其主申耽、申儀二兄弟皆是當地的豪強，實際上相當於是當地的軍閥，這二人一向欽慕主公，還曾經暗中派人寫信給主公，說是願意協助主公對付巴郡的張任和嚴顏，君侯可藉助他們的力量，翻越巴山，從背後夾擊張任和嚴顏，幫助主公平定巴郡，，這樣一來君侯雖然失了荊州和交州，卻也幫助主公得到了巴郡，也算是將功贖過，相信主公也不會怪罪你的。”
看着滿臉狂躁之色的關羽，王甫在一旁連忙勸說道。
王甫的建議本來是很好的，然而關羽卻是搖頭說道：“如果說怪罪的話，相信就算我白白丟掉整個荊州和交州，大哥他也不會怪罪於我，可是我自己會怪罪自己，大哥放心的把荊州交給我，我卻如此不小心，竟然被孫權小兒麾下將士兩次偷襲我的後方，害的我丟掉了整個荊州，也失去了北上奪取許都、恢復漢室的機會，雖然我手下只有兩萬兵，可是卻依然有自信能夠重新奪回江陵和武陵，甚至有可能會藉此機會一舉收復長沙，以血我上一次被周瑜奪城之辱。過山不必擔心我們力量不足，現在軍中的這些將士都是我的本部人馬，他們的家眷並不在江陵，所以絕不會出現叛逃之事，我們還保有襄陽城，那裡擁有我們的五千軍士，還有大量的糧草輜重，足以支撐我們略微休整一下就出發前往江陵。
然而沒想到剛剛來到襄陽城下，卻見城門關閉，關羽派人叫城，卻見城頭上一將大聲說道：“關羽休走，我周倉在此守候多時了。”
隨即就見箭如雨下，關羽身邊的將士們紛紛慘叫着落馬。
“這，這是怎麼回事兒？襄陽不是被我軍佔領了嗎？”關羽心中怪異，因爲儘管自己江陵和武陵陷落，可是在襄樊這裡還是擁有着絕對的優勢的，他更是在襄陽留下了五千將士鎮守，可是現在竟然直接落入敵軍的手中，這可真是咄咄怪事。
這時候城頭上的周倉笑道：“關將軍是否還不明白，爲何我軍能夠佔領襄陽？這裡我不妨向你說個明白，當初你率軍進入襄陽，有無數的百姓對你夾道歡迎，牛酒壺漿以犒勞你的軍隊，你爲此感到洋洋得意，以爲自己很得民心，可是我現在不得不告訴你，當初歡迎你的那些百姓其實都是我家主公派遣軍士假扮的，真正的百姓有七成都提前遷到了樊城，所以，襄陽城內早就暗藏了兩萬大軍，可是你卻絲毫不知，我們本來準備等到你進攻樊城達到最關鍵的時刻從背後對你進行反擊，卻沒想到先傳來了你的江陵和武陵等地失陷的消息，於是我當即立斷，率軍擊潰了你在城內的五千守軍，奪了襄陽，然後在這裡等你，本來我還擔心你是否會返回襄陽，沒想到你真的來了，哈哈，這可真是天意叫你亡於此地。”
隨後周倉一擺手，只見箭雨再次落下，關羽無奈，只好率軍退走。
“可恨的劉和小兒，我就知道他絕不會這麼輕易把襄樊讓給我，原來竟然設下如此毒計，這小子和周瑜孫權之流一樣，都不是什麼好東西。”
關羽暗暗罵了幾句，率軍往南退走，然而剛離開十餘里遠，就見一支隊伍從後面追殺過來，當先一將大聲喊道：“雲長賢弟，你走不了了，還是速速投降吧。”
“徐公明”，關羽看了看面前不願出那員大將，知道是劉和軍中的名將徐晃，此人原本死守樊城，可是這麼快就追來了，很明顯是知道了自己目前的境況，此人武藝高強，戰力非凡，換做是平常自己也未必是敵手，更何況現在軍中將士如同喪家之犬，戰力低迷，自己也不敢戀戰，如何會留下與他硬拼？所以咬了咬牙，下令大軍立刻退走。
對於這一點徐晃當然不會放過這樣一個機會，率軍追殺一頓，讓關羽損失了一兩千人，這才退去。
關於率軍十分悽慘的繼續趕路，等到宜城的時候突然遇到一彪軍馬攔住了去路，當頭一將大聲喝道：“雲長，還識趙雲否？我已在此恭候多時了。”
“趙雲匹夫，違背當初與我大哥的誓言，今日有何臉面來見我？”關羽咬牙痛罵。然而卻知道自己目前已不是趙雲的對手，自然不敢戀戰，奮力衝殺一陣，突圍而出，計算人數，竟然再度折損了兩三千人，除此之外，軍中還有一兩千人因爲受傷而掉隊，現在軍中能戰之士僅僅剩下了一萬五千人左右。
“君侯，現在是很明顯，劉和已然在前面部署好了伏兵，不要說是孫權，就算是劉和也不會放我們前往江陵，我們還是前往上庸吧。”
王甫見狀，連忙再度勸說，卻見關羽說道：“劉和還在廬江，他在荊州的力量有限，我想這就是他最後一支力量了，接下來定然不會再有他的人攔截於我，所以，再往南走，我們一定會達到江陵的。”