其實褚燕之所以看到輕騎兵出現傷亡之後便馬上退兵，是因爲老劉在他帶兵出營之前，曾經向他交待過，今天攻城的主要目的是震懾城中的匈奴士兵，讓他們知道輕騎兵的厲害，不能讓輕騎兵出現大量傷亡。因此他纔在開始的時候盡展輕騎兵所長，一上來便消滅了近千名匈奴士兵，但是不管怎麼說，只要攻城就必然會有傷亡，而且如今是匈奴人守城，佔了地利，因此漢軍如果強行攻城，也不是攻不下單桓城，但是估計即使攻下了單桓城，輕騎兵的傷亡也會不小，因此褚燕才讓已經過了護城河的輕騎兵馬上退回來，等他們回到高平等人身後，褚燕命令高平帶着那一千名輕騎兵繼續用連弩和標槍向城牆上的敵人發動攻擊，他已經看出了城中的匈奴士兵並不是很多，因此只要漢軍躲在他們的弓箭射程之外，用連弩和標槍攻擊敵人，就會逐漸消耗敵人的兵力，使得城中的匈奴騎兵不斷的減員，這樣漢軍在最後敵人的兵力消耗的差不多時在發起致命一擊，單桓城必可一鼓而下。
看到漢軍故技重施，呼衍青急忙指揮匈奴士兵繼續按照剛纔的方法，城牆上留下的少量士兵都躲在牆垛下邊，監視城外漢軍的動靜，而其他士兵則全都撤到城牆下邊比較安全的地方，這樣即使漢軍的攻擊再猛，匈奴士兵的傷亡也會比剛受到這種方式的攻擊時少的多。
看到城牆上的匈奴士兵都躲到城牆下邊去了，褚燕便指揮漢軍再次渡過護城河，豎起雲梯向城牆上發起了第二次攻擊，而匈奴士兵有了第一次勝利的經驗，因此也不再向開始的時候那麼懼怕漢軍了，這次他們的防守做的更好，輕騎兵同樣在丟下了幾十具戰死士兵的屍體之後，再次撤回到了城外的安全地帶。
經過了兩次的攻防之後，時間也已經到了中午時分，褚燕看看單桓城也不是能夠輕易攻下來的，於是便帶着輕騎兵返回了大營，先讓輕騎兵吃飽了肚子之後，下午再接着攻打單桓城。
結果到了下午，漢軍故技重施，仍然用上午的方式來進行攻城，雖然這次比上午的戰果要好一些，曾經有幾個輕騎兵竟然順着雲梯爬上了城牆，只是由於呼衍青親自帶着他的親兵與城牆上的匈奴騎兵拼死攻擊，才把輕騎兵的攻勢擋了下來，而呼衍青自己也受了輕傷，等到了傍晚時分，漢軍停止了攻城之後，呼衍青派手下的一名千夫長去清點了一下如今城中士兵的人數，結果經過一天不算激烈的戰鬥，原來的五千名匈奴士兵如今還剩下三千人，另外根據千夫長的統計，他們今天也消滅了大約二百多名漢軍。
雖然兩軍的傷亡人數懸殊，但是呼衍青也知道這主要是由於剛一接戰時漢軍的那兩種武器所造成的，畢竟匈奴士兵從未見過那些武器，因此纔會出現較大的傷亡，後來的戰鬥由於自己指揮得當，死傷的士兵就比開始的時候少得多了，能剩下三千人也算不錯了，於是呼衍青讓大家趕緊休息吃飯，等到了子時，他便帶着這些人棄城而逃，去追趕呼衍王單于的大隊人馬。
城外的老劉和戲志才早已經知道了城中匈奴人的打算，前天晚上漢軍的探子便發現大部分匈奴人已經逃離了單桓城，隊伍中的老人、婦女和孩子也不少，因此老劉和戲志纔得到消息後，便知道這是匈奴人打算繼續向西逃跑了，這也正中老劉的下懷，因此老劉和戲志才商量了一下，決定不去追殺他們，畢竟給他們留下一定的實力，也便於他們將來在西方的生存，至於城中剩下的那些士兵，今天通過雙方几次拉鋸式的攻防戰，也被輕騎兵消滅了不少，估計剩下的那些匈奴士兵今晚也該撤退了，戲志才本來還想建議派一支隊伍去他們逃跑的道路上設下埋伏，將其一網打盡，但是後來一想老劉所說過的話，還是給他們留下了一條生路，所以戲志才最後也沒有把這個主意說出來，也正因爲如此，才令呼衍青帶着的三千匈奴士兵當晚順利逃出了單桓城，然後趁着夜色消失在通往西方的道路上。
第二天一早，老劉派文丑先帶着幾名親衛隊員去城裡看看，城中如今的情況如何？文丑聽說就讓他帶幾個親衛隊員前去單桓城打探消息，不禁對老劉道：“主公，昨天保安他們可是帶着三千人攻打了一天，也沒有打下單桓城，今天您讓我就帶幾個人去，您就不怕我這一去就回不來了？”
老劉和他身邊的戲志才差點兒都笑出來，還是戲志才道：“文將軍，主公讓你帶幾個人去，自然有他的道理，如果我猜的不錯的話，現在單桓城已經成了一座空城，因此主公纔會放心讓你前去打探消息，你就不要擔心了，趕快去執行主公的命令吧，如果你進入單桓城了，沒準主公一高興，便把攻下單桓城的功勞記在你的頭上了。”
聽戲志才這麼一說，文丑才明白了其中的原委，於是便急忙告辭了老劉和戲志才二人，然後出了大帳，叫上幾名親衛隊員跟着他一道，前往單桓城打探消息。
雖然戲志纔給文丑交了底，但是文丑還是有些不放心，因此幾人小心翼翼的接近了單桓城，果然城牆上已經看不到有匈奴士兵在把守，也沒有任何人向他們放箭，到了城門處，文丑派幾名親衛隊員從昨天輕騎兵搭在護城河上的梯子上過了護城河，然後再把雲梯豎起來，爬上了城牆，果然沒有受到任何的阻攔，看來城中的匈奴士兵是真的跑了，等親衛隊員從城上把吊橋放下來之後，他們又下了城牆把城門打開了，文丑便揮舞着長槍，威風凜凜的縱馬進入了單桓城。
果然城中沒有一點兒聲音，街道上到處都是匈奴人臨走時扔下的破爛，文丑和幾名親衛隊員在城裡沿着街道繞了一圈，也沒有發現一個匈奴人，文丑這才相信了戲志才的話，便急忙帶着幾名親衛隊員返回了漢軍大營。
進了大營之後，文丑跳下戰馬，一路小跑着衝進了老劉的大帳，然後急忙對老劉和戲志才道：“主公、軍師，你們猜的果然沒錯，單桓城已經成了一座空城，城內不管是匈奴士兵還是普通百姓，都已經不在城中了，看來他們昨天晚上都跑了，請主公給我一支隊伍，我這就去追上他們，把他們全部殺光。”
戲志才道：“文將軍，你可知道匈奴人向哪裡逃跑了？再說了，匈奴人號稱是從小在馬背上長大的民族，他們不管是男女老幼都會騎馬，只要他們比你早走兩個時辰，你便很難追上他們，文將軍覺得我說的可對？”
文丑一想，戲志才說的確實沒錯，自己一是不知道匈奴人往哪個方向逃跑了，二是即使知道他們逃跑的方向，可匈奴人比自己走的早，憑他們的騎術，自己也確實很難追上他們，因此文丑只好撓了撓頭，嘿嘿的笑了幾聲，不再說什麼了。
老劉馬上傳下命令，大軍立即進城，反正如今這裡已經成了一座空城，但是不能因此便不去佔領，爲了能夠將原來的北匈奴之地牢牢掌控在自己的手裡，老劉與戲志才商量了一番之後，決定留下王當帶領兩千名輕騎兵和兩千名鮮卑騎兵駐紮在這裡，有了單桓城的存在，他們也不用再去費力建造軍營了，反正現在城中也沒有什麼百姓，因此就把單桓城直接改成軍營便可以了。
根據探子的回報，昨晚逃出城的匈奴騎兵也是向西方逃走了，估計是去追前天逃走的同夥去了，老劉知道這些匈奴人到了西方之後，便會逐漸的征服當地的統治者，將那些地方逐漸變成他們自己的國土，而且他們也不會再回大漢的領土來搗亂，因此從攻打西部鮮卑至今，老劉帶領的大軍經過一個多月的連番征戰，終於完成了預定的目標，將原來屬於西部鮮卑和其他小國的大片土地都納入了大漢的版圖之中。
爲了能夠保證單桓城中的駐軍有足夠的糧食和其他後勤供應，老劉和拓跋疆商量了一番之後，決定等回到平北城之後，再把平北城中的鮮卑族人遷移幾萬人來這裡居住，有了他們進行放牧和種植莊稼，這裡的土地肥沃，水草豐美，因此用不了多長時間，就可以成爲一個塞外的魚米之鄉。
本來老劉還想越過北匈奴與烏孫國的邊界，到南邊的烏孫國去看看，試探一下他們的軍事實力，如果有可能，就一併把烏孫國也打下來，免得留下烏孫在這裡，還是一個不安定的因素。
但是戲志才勸老劉道：“主公，我們這次的北伐，先不說其他幾路大軍的戰況任何，單是我們這一路，已經爲大漢增加了相當於幾個幽州那麼大的地盤，如果其他幾路大軍也都奏凱而還，那麼我們就會使大漢的版圖比原來多了幾乎一半，這些地方雖然可以算作我們幽州的土地，但是難免會有人嫉妒主公的戰功，無端生出許多是非來。”