楊廣又聽說許多達官的子弟都在楊玄感那裡，越加憂慮震怒。
兵部侍郎斛斯政平時和楊玄感交情很好，楊玄感謀反，斛斯政曾與他一起謀劃，楊玄縱兄弟逃回內地是斛斯政暗地送他們回去的。
楊廣要追究查辦楊玄感的黨羽，斛斯政內心極爲恐懼不安，在六月二十六日這天，逃跑投奔了高麗。
因爲楊玄感反叛之事，這高麗是不能再打了，就算楊廣不顧都城洛陽等地的安慰，他也沒多少糧食繼續打下去了，楊玄感雖然離開了黎陽，但他還派了個親信元務本繼續鎮守在那，使得楊廣大軍依舊不能得到新的補給。
二十八日，夜裡二更時分，楊廣秘密召集諸將，讓他們率軍撤退。所有的軍資器械、攻城之具堆積如山，營壘、帳幕，都原地不動，遺棄而去。
隋軍人人驚惶恐懼，軍隊部署已亂，各路兵馬分離渙散。
高麗方面對這種情況很快就覺察到了，但是不敢出去，只是在城內擊鼓吶喊。
到第二天中午時，高麗方面才漸漸地派兵出城，四處遠近地偵察，但仍然懷疑隋軍撤退是假的，眼看着隋軍就要攻破遼東城了，怎會突然撤退？
高麗人怎麼想也沒想明白，只能歸之於是隋朝人的鬼把戲。
又過了兩天，高麗人才終於覺察到不太對勁，於是出動幾千名士兵在隋軍後面追蹤，但仍然畏懼隋軍人多，不敢逼近，兩軍常常相隔八、九十里。
快到遼水時，高麗人得知楊廣的車駕已經渡過了遼水，纔敢逼近隋軍後部，當時隋軍後部還有幾萬人，高麗軍隊就包抄襲擊隋軍，最後有上萬名隋軍老弱士兵被殺死。
再說那支以宇文述、楊師道爲主將，以王仁恭爲前軍的大軍，他們一如第一次徵高麗事那樣，直驅平壤。
作爲前軍的王仁恭到達新城的時候，高麗兵數萬人背城結陣據戰，王仁恭親率兩千勁騎，直突高麗軍的中軍，威猛無比，勢不可擋，直接斬殺了高麗軍的主將，大破這數萬人的高麗軍。
逃回新城的高麗殘餘部隊繼續固守新城，王仁恭四圍攻之，再給他幾日的時間，定能將這座鴨綠水邊上的重要城池攻下。
此時的王仁恭豪情萬丈，心中想到，只要攻下了新城，再攻高麗都城平壤也就指日可待了，到時他必能憑着戰功，榮升衛府大將軍，不用再看宇文述等人的臉色行事了。
但是就在這時，王仁恭接到了讓他撤退的詔令，他火熱的心頭瞬間被澆了一盆刺骨的冷水……
各軍於是將器械物資全部丟棄，疾奔而還，雖沒有敵軍追擊，但許多士兵不願歸隊，導致失散頗多，渡過了遼水的時候，這支大軍已是十不存一。
楊廣一面率軍返回，一面派遣虎賁郎將陳棱先行去黎陽進攻元務本，以打通糧道，又派遣左翊衛大將軍宇文述、右候衛將軍屈突通乘驛站的傳車，發兵討伐楊玄感。
來護兒這時率軍在沙卑城，聞知楊玄感圍困東都，而他的兒子來淵還投靠了楊玄感時，氣得大喊了幾聲“逆子！”他並不覺得楊玄感能奪得天下，退一萬步來說，就算是楊玄感奪得了天下，但能給予他來護兒的東西比得上楊廣？
於是來護兒立即召集諸將，商議回師救援東都。
一向與來護兒意見不同的周法尚，此次難得的大力支持來護兒的決定。
不過其餘諸將都認爲沒有皇帝的敕命，不宜擅自回師，所以堅決不服從來護兒的命令。
來護兒厲聲說道：“洛陽被包圍，是心腹之患，高麗抗拒王命不過是疥癬之疾。國家的事知道了就不能不去做。我來承擔專擅權力的罪名，有阻攔商議回師之事的人，軍法處置！”
衆將只得答應，來護兒即日回師。
途中，來護兒怕楊廣猜疑他，便命令兒子來弘、來整兩人馳馬傳報上奏楊廣。
楊廣這時剛回到薊城，剛要下令讓來護兒救援東都，他見到來弘、來整後，非常高興，賞賜給來護兒的璽書中道：“公回師之時，即朕赦公之日，君臣相意，遠同契合。”
對於臣子，楊廣這位君主是比較奇特的，只要認定了的，就不會改變，比如他認定來護兒、張須陀、虞世基等人是大忠臣，就信任有加，無論幾時都不會懷疑。
又比如，他認定李淵就是個沉迷酒色、做不成大事，但能力還是有一些的人，而且畢竟是自家表哥，關鍵時刻還是可以用一下的，於是他便緊急詔令李淵爲弘化郡留守，以抵禦楊玄感入關，並讓關右諸郡都受李淵節度。
李淵瞬間由一個小小懷遠鎮督糧使，搖身一變，成了隋朝當前最大的一個封疆大吏。
不過對於印象差的臣子，楊廣可是會一直記得的，比如這時，他就忽然想起來護兒的軍中，有一個叫李子雄的，這人原本是右武候大將軍，但竟在家中私藏了許多兵器，被人告爲意圖謀反。
楊廣那時便動了殺人的心思，還是經過許多人的苦勸，加上李子雄說收藏兵器只是他的愛好，這才免了他的死罪，但將他官職、爵位全部除去了，讓他去水軍做了個小軍官。
楊廣怕這李子雄會與楊玄感勾結，便派了個使者，前去將李子雄上枷鎖送到他的行營來。
李子雄一直就沒有造反之意，這時接了旨後，知道如果去了楊廣營帳，必死無疑，於是發起狠來，悍然出手，殺死了使者，並連夜逃走，去投奔楊玄感了。
楊玄感因久攻洛陽不下，又知道隋朝援軍將至，便分兵把守要道，以五千兵把守慈道，五千人把守伊闕道，又派韓擒虎之子韓世諤率六千人包圍滎陽。派顧覺率五千人攻取虎牢關，虎牢關的隋軍投降，楊玄感任命顧覺爲鄭州刺史，鎮守虎牢關。
李子雄在晝夜不歇的趕路下，終於來到了楊玄感的軍營，楊玄感大爲高興，當即命李子雄做了他的謀主，至於之前的謀主李密，則由於時常勸諫，讓楊玄感很不喜，自從投奔他的人越來越多，楊玄感已許久沒向李密問過計策了。