衆將大都隨聲附和，只有王伯當一直沉默不語。王伯當不僅精於騎射，武功蓋世，而且也是個不肯輕易向別人低頭的血性男兒，所以他打心裡就不想投降李淵。然而，他又不得不正視現實，深知事到如今也只有這條路可走，別無他途。他不像柳燮他們那樣把李密的前景想象得燦爛無比，反倒是隱隱有種不祥的預感，充滿了悲觀情緒。他了解自己的老師，知道他是不甘居於人下，到時必會與朝中大臣爭權奪利，如此必爲李淵的寵臣們所排擠，所打壓。真是前途未卜，甚至生死難料啊！想到這些，王伯當忍不住輕輕嘆了口氣，臉上罩着一層憂愁。
李密聽到王伯當那聲飽含憂慮的嘆息，不禁愕然，愣愣地望了他好一會兒，問道：
“伯當，你爲何嘆息，是不想跟隨老師一道去長安嗎？”
“不是，老師！”王伯當搖頭否認，臉上擠出絲笑，低聲說道，“學生只是擔心老師您的前程哪，唐公雖與您有手足之情，可他手下那幫人……”
“好了，不說這些了！”李密心頭驀然間被一種莫名其妙的煩憂所困擾，禁不住嘆了口氣，緊接着又打斷學生的話說，“伯當，我知道你對老師沒有二心，只要老師說一聲，你一定會跟着老師回關中。可老師不能這樣做，畢竟你父母妻兒在這。你得好好照料妻兒，也得在父母膝前盡孝，以盡爲人子爲人夫的孝心與責任。所以儘管老師很希望你能陪在我身邊，但是不敢強求你隨我進長安，否則就是老師我的過錯了。你就留下吧！”
“不，老師！”王伯當語氣堅決地答道，“昔時蕭何率領所有子弟跟隨漢王，今伯當遺憾兄弟子侄們不能跟着您。再者，大丈夫志在四方，豈能廝守於妻兒父母身邊而失去大義呢？伯當縱然粉身碎骨葬身莽原，也心甘情願跟隨老師您！請老師能體察學生之心，帶我上長安吧！倘若老師不肯，那伯噹噹以死相脅，請老師見諒！”
說時，王伯當伸手從腰間的劍鞘中抽出把明晃晃的短劍。
李密見狀，大聲喝止。沉吟片刻，他大爲感動地對王伯當說：
“李密身處萬人背棄之時，尚有如此忠心之人，可足慰平生哪！好，既然你對老師有這份深情厚誼，那老師我也不能冷了你的心。伯當，我們一起上長安吧！”
說時，李密的眼裡有淚光在閃動。他一邊盡力控制住自己的情緒，一邊從王伯當手上奪過劍，親自替他插入劍鞘。然後，他扭過臉向衆將宣佈：
“本公決定歸順大唐，望各位將軍明日率部回關中，不得有誤！”
衆將士聽說可以回關中，不用再冒着生命危險打仗，一個個歡天喜地，激動得兩眼嘩啦啦直落淚。是呀，能逃離戰爭是件多麼幸福的事啊！
翌日上午，李密率領二萬餘人，踏上了回關中的路。那天，天空陰沉沉的，北風呼呼地颳着，令人感到初冬的寒意。
數日後，李密便從河陽抵達了長安。李淵對這位同宗兄弟歸附自己表現出了極大的熱情，他聽說李密的部隊快要進長安了，就接連不斷地派人帶着御酒美食前去慰勞。等李密到達長安了，他立即宣旨在太極殿召見李密。李淵相當看重與李密之間這份同宗之情，與他同座一席，握手言笑，十分親密。李密原以爲李淵會藉機奚落自己一番，沒料到居然得到了李淵的誇讚與認同，自然非常滿意和欣喜。與此同時，他想李淵如此欣賞自己，而自己又以崤山以東幾百座城池交付李淵，其功超過竇融，他能不給高官厚祿，職位應該在裴寂之上吧？
然而很快李密就失望了，因爲李淵並沒有滿足他的願望，只給他光祿卿、上柱國這種有名無實的職位，賜他一個邢國公爵位。這令一心想手握大權位居裴寂之上的李密深感失落，以至終日悶悶不樂。更令他不開心的是，朝中大臣大都把他視爲異己，言語神情中盡顯輕視之意，並趁機向他敲詐勒索，使他蒙受羞辱。這一切讓李密開始後悔自己當初的決定了，認爲歸順大唐又是一大錯。不過令李密聊感欣慰的是，李淵這位皇兄對他還算可以，雖因大臣反對不能滿足他的權力慾望，卻給了他充分的尊重和關愛，不僅口口聲聲叫他御弟，還將舅舅的女兒獨孤氏許配給了他。
李密歸降李淵不久，他的總管李育德獻武陟降唐。接着原瓦崗軍將領劉德威、賈閏甫、高季甫等紛紛率部前來歸順大唐。只有徐懋功依舊死守着黎陽，但這已經改變不了瓦崗軍滅亡的命運。