隨末天下大亂，托塔天王李靖下界出生於官宦之家，隋將韓擒虎的外甥。祖父李崇義曾任殷州刺史，封永康公；父李詮仕隋，官至趙郡太守。李靖長得儀表魁偉，由於受家庭的薰陶，從小就有“文武才略”，又頗有進取之心，曾對父親說：“大丈夫如果遇到聖明的君主和時代，應當建立功業求取富貴，何必做一個讀書人。”他的舅父韓擒虎是隋朝名將，每次與他談論兵事，無不拍手稱絕，並撫摩着他說：“可與之討論孫吳（孫武、吳起）之術的人，只有你啊。” 李靖先任長安縣功曹，後歷任殿內直長、駕部員外郎。他的官職雖然卑微，但其才幹卻聞名於隋朝公卿之中，吏部尚書牛弘稱讚他有“王佐之才”，隋朝軍事家、左僕射楊素也撫着坐牀對他說：“你終當坐到這個位置！”
大業（605年－617年）末年，李靖任馬邑郡丞，在李淵帳下和突厥作戰。這時，反隋暴政的叛亂已風起雲涌，河北竇建德，河南翟讓、李密，江淮杜伏威、輔公祏等領導的三支主力軍以摧枯拉朽之勢，滌盪着隋朝的統治。身爲隋朝太原留守的李淵暗中招兵買馬，伺機而動。李靖察覺了他的這一動機，於是李靖把自己僞裝成囚徒，前往江都，準備向隋煬帝告密。但當到了京城長安時，關中已經大亂，因道路阻塞而未能成行。不久，李淵於太原起兵（參見太原起兵），並迅速攻佔了長安，俘獲了李靖。李靖滿腹經綸，壯志未酬，在臨刑將要被斬時，大聲疾呼：“明公興起義兵，本是爲天下除去暴亂，怎麼沒有完成大事，而以私人恩怨斬殺壯士呢？[5]”李淵欣賞他的言談舉動，李世民（即唐太宗）讚賞他的才識和膽氣，因而獲釋。不久，被李世民召入幕府，用做三衛。
武德元年（618年）五月，李淵建唐稱帝，冊封李世民爲秦王。爲了平定割據勢力，武德三年（620年），李靖隨從秦王東進，平定在洛陽稱帝的王世充，以軍功授任開府。從此，李靖開始嶄露頭角。當進擊王世充的戰役（參見洛陽、虎牢之戰）打響不久，盤踞在江陵（今屬湖北）的南樑蕭銑政權派舟師溯江而上，企圖攻取唐朝峽州（今湖北宜昌）、巴、蜀等地，被峽州刺史許紹擊退，遂退守安蜀城及荊門城。爲了削平南樑蕭銑這一割據勢力，李淵調李靖赴夔州（今重慶奉節）平定蕭銑。李靖奉命，率數騎赴任，在途經金州（今陝西安康）時，適遇蠻人鄧世洛率數萬人屯居山谷間，廬江王李瑗進討，接連敗北。李靖爲李瑗出謀劃策，一舉擊敗蠻兵，俘虜甚多。於是順利通過金州，抵達峽州。這時，由於蕭銑控制着險塞，再次受阻，遲遲不能前進。李淵卻誤以爲他滯留不前，貽誤軍機，秘密詔令許紹將他處死。許紹愛惜李靖的才幹，爲他請命，李靖這才免於一死。
不久，開州蠻人首領冉肇則叛唐，率衆進犯夔州，趙郡王李孝恭率唐軍出戰失利，李靖則率八百士卒襲擊其營壘，大破蠻兵。後又在險要處佈下伏兵，一戰而殺死肇則，俘獲五千多人。當捷報傳到京師時，李淵高興地對公卿說：“朕聽說使用有功勞的人不如使用有過失的人，李靖果然立了大功。”立即頒下璽書，慰勞李靖說：“卿竭誠盡力，功績特別卓著。天長日久才發現卿無限忠誠，儘量給你嘉獎賞賜，卿不必擔心功名利祿了。”李靖的精誠至忠博得了李淵的信任。李淵改變了對他的成見，並親筆寫敕與李靖說：“既往不咎，以前的事我早就忘了。”
武德四年（621年）正月，李靖鑑於敵我雙方的情勢，上陳了攻滅蕭銑的十策。李淵對此頗爲重視，二月即任命李孝恭爲夔州總管，擢任李靖爲行軍總管，兼任李孝恭的行軍長史。李淵又以爲李孝恭不太精通軍旅之事，“三軍之任，一以委靖”。李靖實際上已成爲三軍統帥，李靖組織人力和物力大造舟艦，組織士卒練習水戰，做好下江陵的準備。同時，他見巴、蜀之地歸附唐朝不久，各部族還不太穩定。爲了解除後顧之憂，李靖勸說李孝恭把各部族酋長子弟都召集到夔州，根據才能的優劣分別授以官職，安置在左右，“外示引擢，實以爲質”。這對於穩固巴、蜀政局起了積極的作用。
這年九月，李淵詔令調發巴、蜀兵士，集結於夔州，並任命李孝恭爲荊湘道行軍總管，李靖兼行軍長史，統轄十二總管，自夔州順流東進；又任命李瑗爲荊郢道行軍元帥，出襄州道，爲北路軍；黔州刺史田世康出辰州道，爲南路軍；黃州總管周法明出夏口道，爲東路軍。四路大軍分頭並進，一齊殺向江陵，發起了一場規模巨大的軍事攻勢。
適值秋天雨季，江水暴漲，流經三峽的濤濤江水咆哮狂奔而下，響聲震撼着峽谷。蕭銑滿以爲水勢洶涌，三峽路險難行，唐軍不能東下，遂休養士兵，不加防備。唐將也大都望而生畏，請求待洪水退後再進兵。李靖以他那超人的膽識和謀略，力排衆議，說：“兵貴神速，機不可失。如今軍隊剛剛集結，蕭銑還不知道，如果我們乘江水猛漲出師，順流東下，突然出現在江陵城下，正是所說的迅雷不及掩耳，這是兵家上策。縱然蕭銑得知我將出師的消息，倉促調集軍隊，也無法應戰，這樣擒獲蕭銑，定可一舉成功。”李孝恭依從其議，遂率戰艦二千餘艘，沿着三峽，順流東進。由於蕭銑毫無防備，唐軍連破荊門、宜都二鎮，並乘勝前進，十月即抵夷陵城下。
這時，蕭銑的驍將文士弘率數萬精兵駐守在附近的清江。李孝恭大兵一到，即想進擊。李靖勸告他說：“文士弘，是蕭銑的健將，士卒精銳驍勇，現在荊門剛剛失守，他把精銳兵力全都派出來迎戰，這是救敗的軍隊，恐怕銳不可擋。我們應當暫且把戰船停泊在長江南岸，不與敵人交鋒，等到他們士氣衰落，然後出擊決戰，一定能攻破敵軍。”李靖的避其兵鋒，挫其銳氣，然後一戰可擒的戰術是很正確的，但李孝恭由於連戰告捷，錯誤地估計了敵人的力量，沒有聽從他的勸告，遂命李靖留守軍營，自己率兵出戰。果然不出李靖所料，雙方一交戰，孝恭軍大敗，即逃奔南岸，損失很大。文士弘獲勝以後，即縱兵四出搶掠，兵士肩扛手提，多有收穫。李靖見敵軍隊伍大亂，遂不失時機，迅即指揮唐軍出戰。文士弘軍一時難以收攏，措手不及，結果被唐軍打得落花流水，被殺及溺水而死者將近一萬人，獲得舟艦四百餘艘。攻下夷陵之後，李靖又馬不停蹄，率輕騎五千爲先鋒，直奔南樑都城江陵，李孝恭率大軍繼後。文士弘戰敗以後，蕭銑非常恐懼，這時剛剛在江南征召士兵，結果徵召的士兵不能如期趕到。李孝恭帶領大軍繼續進攻，李靖又擊敗蕭銑的驍勇大將楊君茂、鄭文秀，俘獲士卒四千多人，攻克江陵外城，接着又佔領水城，繳獲了大批舟艦，卻讓李孝恭全部散棄江中，順流漂下。諸將對此做法都困惑不解，認爲繳獲敵船，正好充當軍艦，爲何卻遺棄江中，以資敵用？李靖胸有成竹地說：“蕭銑的地盤，南出嶺表，東距洞庭，我們孤軍深入，如果攻城未拔，對方的援軍四集，我們將表裡受敵，進退不獲，雖有舟楫，將如何使用呢？如今放棄舟艦，使塞江下，援兵見到了，一定以爲江陵已經被攻破，不敢輕易進去，往來偵察，往返拖延要一個月，我們一定能攻下。”李靖的疑兵之計果然奏效，長江下游的蕭銑援兵見江中到處都是遺棄散落的舟艦，以爲江陵已破，都疑懼不前。交州刺史丘和、長史高士廉等將赴江陵朝見，在行進途中聽說蕭銑已敗，便都到李孝恭營中投降。唐軍把江陵圍得水泄不通。蕭銑見內外隔絕，外無援兵，城內又難以支持，走投無路，遂開門投降唐軍。李靖率軍進入城內，號令嚴肅，秋毫無犯。這時，諸將都以爲蕭銑將帥抗拒官軍，罪大惡極，建議籍沒其家財產，用以犒賞官軍將士。李靖立即出面勸止，曉以大義，說：“王者之師，應保持撫慰人民，討伐罪惡的節義。百姓已經受到戰事的驅逼，抵抗作戰難道是他們的願望。況且狗自然會對不是自己主人的人吠叫，爲蕭銑戰死的人，死爲其主，不能與叛逆者同等看待，這就是蒯通之所以在高祖面前免除死罪的原因啊。現在剛平定荊州、江陵，應當採取寬大的政策，來撫慰遠近的民心，投降了我們而還要沒收他們的家產，恐怕不是救焚拯溺的道義。只怕從此其他城鎮的敵將，拼死抵抗都堅守不降，這不是好的決策。”李靖高瞻遠矚，寬宏大度，不貪財寶，確比諸將更高一籌。他這一做法頗得人心，由是江、漢紛紛望風歸降。蕭銑投降幾天之後，有十幾萬援軍相繼趕到，聽說蕭銑已經投降，唐朝的政策寬大，也都放下兵器不戰而降。李靖佐助李孝恭出師，僅用了兩個月的時間，即消滅了江南最大的割據勢力南樑。因其戰功卓著，李淵詔封他爲上柱國、永康縣公，賜物二千五百段。攻取江陵的戰鬥歷程，表現出了李靖傑出的軍事才幹，他進一步得到了李淵的倚重。戰事剛一結束，李淵即擢任爲檢校荊州刺史，命他安撫嶺南諸州，並特許承製拜授。
武德四年（621年）十一月，李靖越過南嶺，到達桂州（今屬廣西），派人分道招撫，所到之處，皆望風歸降。大首領馮盎、李光度、寧長真皆派遣子弟求見，表示歸順，李靖承製都授以官爵。於是連下九十六州，所得民戶六十餘萬。自此，“嶺南悉平”。李淵下詔勞勉，授任嶺南道安撫大使、檢校桂州總管。李靖以爲南方偏僻之地，距朝廷遙遠，隋末大亂以來，未受朝廷恩惠，若“不遵以禮樂，兼示兵威，無以變其風俗”，遂率其所部兵馬從桂州出發南巡，所經之處，李靖親自“存撫耆老，問其疾苦”，得到當地人民的擁護，於是“遠近悅服”，社會安定。