武德六年（623年）七月，原投降唐朝的農民起義軍將領杜伏威、輔公祏二人不和，輔公祏乘杜伏威入朝之際，竊據丹陽（今江蘇南京），舉兵反唐。李淵命李孝恭爲帥，李靖爲副帥，率李勣等七總管東下討伐。輔公祏派大將馮惠亮率三萬水師駐守當塗，陳正道率二萬步騎駐守青林，從梁山用鐵索橫亙長江，以阻斷水路。並築造建月城，綿延十餘里，以爲犄角之勢。李孝恭召集諸將議軍事，諸將都說：“馮惠亮、陳正通都掌握了強大的兵力，是想守險不戰，因此構城築壘而固守，倉猝之間是不能攻取的。不如直指丹陽，掩襲輔公祏的巢穴，丹陽一旦攻破，馮惠亮等人自然不戰而降。”李孝恭想採納諸將的意見。
李靖透闢地分析了敵方形勢，認爲“輔公祏的精銳兵力，雖然集中在水、陸二軍，然而他自己統帥的軍隊，也都是驍勇的士卒。馮惠亮等駐守的城柵尚且不能攻取，輔公祏已經固守的石頭城，難道是可以輕易攻取的嗎？如果我軍直奔丹陽，旬月之間都不能攻下而滯留在那裡，前面的輔公祏沒有平定，後邊的馮惠亮也是一大隱患，這樣我們就會腹背受敵，恐怕不是萬全之計。馮惠亮、陳正通都是身經百戰的賊將，決不會害怕野戰，只因爲輔公祏立下計謀，命令他們持重防守，只想不出戰拖延時間使我軍疲勞。現在如果我們進攻馮惠亮、陳正通的城柵，就可以打他個出其不意，消滅敵賊的機會，只在此一舉。”李孝恭贊同李靖的意見。李靖於是率黃君漢等將領先攻打馮惠亮，苦戰擊破馮惠亮，叛軍被殺傷和溺死者萬餘人，馮惠亮敗走。李靖率輕兵先至丹陽，輔公祏大懼，派遣將領左遊仙領兵守會稽作爲援助，輔公祏擁兵東走，去往遊仙，到了吳郡，輔公祏、馮惠亮、陳正通相次被擒獲，江南悉平。李淵爲了嘉獎李靖的軍功，賜物千段，並賜奴婢一百口，良馬一百匹。設立東南道行臺，授任他爲行臺兵部尚書。李淵十分欽佩他的軍事才幹，極口讚歎說：“李靖乃蕭銑、輔公祏的膏肓之病，古代名將韓信、白起、衛青、霍去病，沒有一個能比得上李靖！”江南的局勢安定以後，北方的形勢又一時緊張起來。隋末唐初，突厥勢力強大，李淵太原起兵時，曾向突厥始畢可汗稱臣，以換取北方的相對安定。唐朝建立後，突厥一方面支持薛舉、劉武周等割據勢力，與唐朝分庭抗禮；另一方面，又自恃兵強馬壯，不斷舉兵南下侵擾。在平定江南中功勳卓著的李靖又被調到北方，以反擊突厥。
武德八年（625年）八月，突厥頡利可汗率十餘萬人越過石嶺，大舉進犯太原。李淵馬上命李靖爲行軍總管，統率一萬多江淮兵駐守太谷，與幷州總管任瑰等迎擊敵人。由於突厥來勢兇猛，諸軍迎戰多失利，任瑰全軍覆沒，唯李靖軍得以保全。不久，又調李靖爲靈州道行軍總管，以抗擊突厥。武德九年（626年）八月，李世民剛剛登基，頡利可汗便乘唐朝皇帝更替之機，率十幾萬精銳騎兵再次進犯涇州，並長驅直入，兵臨渭水便橋之北。頡利可汗不斷派精騎挑戰，還派其心腹執失思力入朝，以觀察虛實。當時徵調的諸州軍馬尚未趕到，長安市民能拿兵器打仗者也不過幾萬人，形勢十分危急。在此種情況下，李世民曾冒險親臨渭水橋，與頡利可汗結盟，突厥才退兵。事後，李世民擢任李靖爲刑部尚書兼行太子左衛率，賜實封食邑四百戶。不久後，李靖轉任兵部尚書。此後不久，國內突厥發生了變亂，所屬薛延陀、回紇、拔野古諸部相繼叛離，又恰遇暴風雪，羊馬死亡甚多，因而發生了饑荒，族人紛紛離散。貞觀三年（629年）八月，李世民接受了代州都督張公瑾的建議，決定出擊，突厥命兵部尚書李靖爲定襄道行軍總管，以張公瑾爲副，發起了強大的軍事攻勢。又任命幷州都督李勣、華州刺史柴紹、靈州大都督薛萬徹等爲各道總管，統率十幾萬軍隊，分道出擊突厥。貞觀四年（630年）正月，朔風凜冽，李靖率領三千精銳騎兵，冒着嚴寒，從馬邑出發，向惡陽嶺挺進。頡利可汗萬萬沒有想到唐軍會突如其來，兵將相顧，無不大驚失色。他們判定：如果唐兵不傾國而來，李靖決不會孤軍深入，於是“一日數驚”。李靖探知這一消息，密令間諜離間其心腹，其親信康蘇密前來投降。李靖迅即進擊定襄，在夜幕掩護下，一舉攻入城內，俘獲了隋齊王楊暕之子楊政道及原煬帝蕭皇后，頡利可汗倉皇逃往磧口。李靖因軍功進封代國公，增加食邑三千戶，賜物六百段及名馬、寶器等。李世民高興地對大臣說：“漢朝李陵帶領五千步卒進攻匈奴，最後落得歸降匈奴的下場，尚且得以留名青史。李靖以三千騎兵深入敵境，攻克定襄，威振北狄，這是古今所沒有的奇勳，足以雪往年在渭水與突厥結盟之恥。”在李靖勝利進軍的同時，李勣也率軍從雲中出發，與突厥軍在白道遭遇。唐軍奮力衝殺，把突厥軍打得潰不成軍。頡利可汗一敗再敗，損失慘重，遂退守鐵山，收集殘兵敗將，只剩下幾萬人馬。頡利可汗處於山窮水盡的境地，他派執失思力入朝請罪，請求舉國歸附唐朝，並表示願意入朝。其實，他內心尚猶豫未決，意欲贏得時間，以苟延殘喘，俟草青馬肥之時，逃到大漠以北，以捲土重來。同年二月，李世民派鴻臚卿唐儉、將軍安修仁去撫慰頡利可汗，李靖揣摩到李世民這樣做的真實意圖，對張公謹說：“使者到了頡利可汗那裡，突厥必定會放鬆戒備。我們就乘此良機，選拔精騎一萬，攜帶二十天的軍糧，帶兵從白道襲擊突厥。”張公謹說：“陛下已經下詔准許頡利可汗歸降，朝廷派去的使者也在那裡，恐怕不宜去討伐進擊。”李靖說：“這正是用兵的良機，時機不可錯過，這就是韓信之所以消滅齊國的道理。像唐儉等使者即使因此遭到不測，又有什麼可惜的呢。”李靖率軍進至陰山，遇到突厥斥候千餘帳，一戰而全部俘獲，命與唐軍同行。這時，頡利可汗見到唐使臣，放鬆了戒備。唐軍前鋒蘇定方率領的兩百餘騎又乘着大霧，悄然疾行，直到距牙帳七裡遠的地方纔被發覺。如同驚弓之鳥的頡利可汗慌忙騎馬逃走，突厥軍也四散而逃。李靖大軍隨之趕到，殺敵一萬餘人，俘虜十幾萬，繳獲牛羊數十萬只（頭），並殺死隋義成公主。頡利可汗率萬餘人想北過大漠，在磧口受李勣所阻，不能北逃，其大酋長皆率衆投降。不久，頡利可汗被大同道行軍總管、任城王李道宗擒獲，並送到京師。突厥從此宣告滅亡。
自隋朝以來，突厥是西北的強國。李靖等滅亡突厥，不僅解除了唐朝西北邊境的禍患，而且也洗刷了李淵與李世民向突厥屈尊的恥辱。因此，李世民頗有感慨地說：“我聽說君主憂愁臣覺得恥辱，君主受辱臣甘願赴死。從前大唐草創之時，太上皇因爲百姓的緣故，向突厥稱臣，我爲此常常痛心疾首，立志要剪滅突厥，爲此坐不安席，食不甘味。現在只暫時調動一部分軍隊，就無往不勝，使單于歸順，終於洗雪當年稱臣的恥辱！”太上皇李淵也欣喜萬分，他把李世民及貴臣十幾人，還有諸王、王妃、公主等召至凌煙閣，設宴慶祝。李淵一時興起，還親自彈起了琵琶，李世民起舞，大臣們也接連起身舉杯祝賀，一直延續到深夜。李靖雖在戰場上勇猛善戰，叱吒風雲，但卻性情沉厚。事後，御史大夫蕭瑀劾奏李靖治軍無方，在襲破頡利可汗牙帳時，一些珍寶文物，都被兵士搶掠一空，請求司法部門予以審查。李世民狠狠地訓責李靖，李靖叩首謝罪。過了好久，李世民對李靖說：“隋朝的將領史萬歲打敗了達頭可汗，可是隋朝不予獎賞，因此導致滅亡。朕就不是這樣，應當赦免你治軍無方的罪，記錄你擊敗突厥的功勳。”於是下詔加封李靖爲左光祿大夫，賜絹千匹，增加封地連同以前的達到五百戶。不久，李世民又對李靖說：“以前有人誹謗你，現在朕已經明白了真相，你千萬不要把這事放在心裡。”這時又賜給李靖絹二千匹，提升他爲尚書右僕射。李靖生性沉穩厚重，平時與朝臣一起參議國事時，總是恭謹溫順，像是不會說話一樣。