元狩四年（前119）春天，武帝命令大將軍衛青、驃騎將軍霍去病各率五萬騎兵，幾十萬步兵和轉運物資的人跟隨其後，而那些敢於奮力戰鬥和勇於深入的士兵都隸屬於驃騎將軍。驃騎將軍開始要從定襄出兵，迎擊單于。後來捕到的匈奴俘虜說單于向東而去，於是就改令驃騎將軍從代郡出兵，命令大將軍衛青從定襄出兵。郎中令李廣做前將軍，太僕公孫賀任左將軍，主爵都尉趙食其任右將軍，平陽侯曹襄任後將軍，他們都隸屬大將軍。大軍隨即越過沙漠，連人帶馬共五萬騎兵，同驃騎將軍等都攻打匈奴的單于。趙信替單于出謀劃策說：“漢軍已越過沙漠，人困馬疲，匈奴可以坐收漢軍俘虜了。”於是把他們的輜重全部運到遙遠的北方，全把精兵安排在大漠以北等待漢軍。正碰上大將軍衛青的軍隊開出塞外一千多裡，看見單于的軍隊排成陣勢等在那裡，於是大將軍下令讓武剛車排成環形營壘，又命五千騎兵縱馬奔馳，抵擋匈奴。匈奴也有大約一萬騎兵奔馳而來。恰巧太陽將落，颳起大風，沙石打在人們的臉上，兩軍都無法看見對方，漢軍又命左右兩翼急馳向前，包抄單于。單于看到漢朝軍隊很多，而且戰士和戰馬還很強大，若是交戰，對匈奴不利。因此，在傍晚時單于就乘着六頭騾子拉的車子，同大約幾百名壯健的騎兵，徑直衝開漢軍包圍圈，向西北奔馳而去。這時，天已黃昏，漢朝軍隊和匈奴人相互扭打，殺傷人數大致相同。漢軍左校尉捕到匈奴俘虜，說單于在天未黑時已離去，於是漢軍就派出輕騎兵連夜追擊，大將軍的軍隊也跟隨其後。匈奴的兵士四散奔逃。直到天快亮時，漢軍已行走二百餘里，沒有追到單于，卻俘獲和斬殺敵兵一萬 多人，於是到達了窴顏山趙信城，獲得匈奴積存的糧食以供軍隊食用。漢軍留住一日而回，把城中剩餘的糧食全部燒掉才歸來。
在大將軍衛青同單于會戰時，前將軍李廣和右將軍趙食其的軍隊從東方的道路進軍，因爲迷了路，沒能如期同衛青同攻單于。直到大將軍衛青領兵回到大漠以南時，才遇到前將軍和右將軍。大將軍想派使者回京報告天子，就命令長史去按文書所列罪狀審問前將軍李廣，李廣自殺。右將軍回到京城，被交給法官，趙食其交了贖金，成爲平民百姓。大將軍衛青進入邊塞，此次總共斬獲敵兵一萬九千人。
這時，匈奴的部衆失去單于十多天，右谷蠡王聽到這消息後，就自己當了單于。單于後來又與他的部衆相會合，右谷蠡王就去掉自立的單于之名。
驃騎將軍也率領五萬騎兵，所帶軍需物資也與大將軍衛青的相同，但卻沒有副將。他就任用李敢等人做大校，充當副將，從代郡、右北平出兵一千餘里，遇上左賢王的軍隊，他們斬獲敵兵的功勞已經遠遠超過了大將軍衛青。出征的大軍全部歸來時，武帝說：“驃騎將軍霍去病率領軍隊出征，又親自率領所俘虜的匈奴士兵，攜帶少量軍需物資，越過大沙漠，渡河捕獲單于近臣章渠，誅殺匈奴小王比車耆轉而攻擊匈奴左大將，斬殺敵將，奪取其軍旗和戰鼓。翻越離侯山，渡過弓閭河，捕獲匈奴屯頭王和韓王等三人，以及將軍、相國、當戶、都尉等八十三人。然後在狼居胥山祭天，在姑衍山祭地，並且登上高山以望大沙漠。共捕獲俘虜和殺敵七萬零四百四十三人，漢軍大概減損十分之三。他們從敵人那裡取得糧食，所以能夠遠行到極遠的地方而沒有斷絕軍糧。劃定五千八百戶增封驃騎將軍霍去病。”右北平太守路博德隸屬於驃騎將軍，與驃騎將軍在與城會師，沒有錯過日期，跟隨驃騎將軍到達檮餘山，俘虜和斬殺匈奴二千七百人，劃定一千六百戶封路博德爲符離侯。北地都尉邢山隨驃騎將軍捕獲匈奴小王，劃定一千二百戶封邢山爲義陽侯。從前投降漢朝的匈奴因淳王復陸支、樓專王伊即靬皆隨驃騎將軍攻匈奴有功，劃定一千三百戶封復陸支爲壯侯，劃定一千八百戶封伊即靬爲衆利侯。從驃侯趙破奴、昌武侯趙安稽都跟隨驃騎將軍打匈奴有功，各增封三百戶。校尉李敢奪取了敵軍的軍旗戰鼓，封爲關內侯，賜食邑二百戶。校尉徐自爲被授予大庶長的爵位。另外驃騎將軍霍去病屬下的小吏士卒當官和受賞的人很多。而大將軍衛青沒能得到加封，軍中的官員和士卒沒有被封侯的。
當衛青和霍去病所率領的兩支大軍出塞時，曾在邊塞閱兵，當時官府和私人馬匹共十四萬匹，而他們重回塞內時，所剩戰馬不滿三萬匹。於是朝廷增置大司馬官位，大將軍和驃騎將軍都當了大司馬。而且定下法令，讓驃騎將軍的官階和俸祿同大將軍相等。從此以後，大將軍衛青的權勢日日減退，而驃騎將軍一天比一天顯貴。大將軍的老友和門客多半離開了他，而去奉事驃騎將軍，這些人常常因此而得到官爵，只有任安不肯這樣做。
驃騎將軍爲人寡言少語，不泄露別人說的話，有氣魄，敢做敢爲。武帝曾想教他孫子和吳起的兵法，他回答說：“戰爭只看方針策略如何就夠了，不必學習古代兵法。”武帝爲他修蓋府第，讓驃騎將軍去看看，他回答說：“匈奴還沒有消滅，無心考慮私家的事情。”從此以後，武帝更加重用和喜愛驃騎將軍霍去病。但是，霍去病從少年時代起，就在宮中侍候皇帝，得到顯貴，卻不知體恤士卒。他出兵打仗時，天子派遣太官贈送他幾十車食物，待他回來時，輜重車上丟棄了許多剩餘的米和肉，而他的士卒還有忍飢挨餓的。他在塞外打仗時，士卒缺糧，有的人餓得站不起來，而驃騎將軍還在畫定球場，踢球遊戲。他做的事多半如此。大將軍衛青的爲人卻是仁愛善良，有退讓的精神，以寬和柔順取悅皇上，但是天下之人沒有稱讚他的。
驃騎將軍自元狩四年（前119）出擊匈奴以後三年，即元狩六年（前117）就去世了。武帝對他的死很悲傷，調遣邊境五郡的鐵甲軍，從長安到茂陵排列成陣，給霍去病修的墳墓外形象祈連山的樣子。給他命名諡號，把勇武與擴地兩個原則加以合併，稱他爲景桓侯。霍去病的兒子嬗接替了冠軍侯的爵位。霍嬗年令小，表字叫子侯，皇上喜愛他，希望長大後任命他爲將軍。過了六年，即元封元年，霍嬗死去，皇上封賜他哀侯的諡號。他沒有兒子，因而後代斷絕了，封國被廢除。
自從驃騎將軍死後，大將軍的長子宜春侯衛伉因犯法而失掉侯爵。五年以後，衛伉的兩個弟弟陰安侯衛不疑和發乾侯衛登，都因爲犯了助祭金成色不足和分量不夠的罪而失掉侯爵。失掉侯爵後二年，冠軍侯的封國被廢除。這以後四年，大將軍衛青死去，朝廷加封他的諡號是烈侯。衛青兒子衛伉接替爵位作長平侯。
自從大將軍圍攻匈奴單于之後十四年就死去了，這期間沒有再攻打匈奴的原因，是因爲漢朝馬匹少，而且正在討伐南方的東越和南越，討伐東方的朝鮮，攻擊羌人和西南夷，因此長時間沒有討伐匈奴。
平陽公主
因爲大將軍衛青娶了平陽公主的原因，所以長平侯衛伉才能接替侯爵。但是六年後，他又因犯法而失掉侯爵。