又從破劉黑闥、徐圓朗，累遷左監門大將軍。圓朗復反，詔勣為河南大總管，討平之。趙郡王孝恭討輔公祏也，遣勣以步卒一萬度淮，拔壽陽，攻江西賊壁，馮惠亮、陳正通相次潰，公祏平。
太宗即位，拜幷州都督，賜實封九百戶。貞觀三年，為通漠道行軍總管，出雲中，與突厥戰，走之。引兵與李靖合。因曰：「頡利若度磧，保於九姓，果不可得，我若約齎薄之，不戰縛虜矣。」靖大喜，以與己合，於是意決。靖率眾夜發，勣勒兵從之。頡利慾走磧，勣前屯磧口，不得度，由是酋長率部落五萬降於勣。詔拜光祿大夫，行幷州大都督府長史。父喪解，奪哀還官，徙封英，治幷州十六年，以威肅聞。帝嘗曰：「煬帝不擇人守邊，勞中國築長城以備虜。今我用勣守並，突厥不敢南，賢長城遠矣！」召為兵部尚書，未至，會薛延陀子大度設以八萬騎侵李思摩。詔勣為朔方道行軍總管，將輕騎六千，擊度設青山，斬名王一，俘口五萬。以功封一子為縣公。
晉王為皇太子，授詹事，兼左衛率，俄同中書門下三品。帝曰：「吾兒方位東宮，公舊長史，以宮事相委，勿以資屈為嫌也。」后帝自將徵高麗，以勣為遼東道行軍大總管。破蓋牟、遼東、白崖等城，從戰駐蹕山，功多，封一子為郡公。延陀部落亂，詔將二百騎發突厥兵討之，大戰烏德鞬山，破之，降其首領梯真達幹，而可汁咄摩支遁入荒谷，磧北遂定。改太常卿，仍同中書門下三品，復為詹事。
勣既忠力，帝謂可託大事。嘗暴疾，醫曰：「用須灰可治。」帝乃自翦須以和藥。及愈，入謝，頓首流血。帝曰：「吾為社稷計，何謝為！」後留宴，顧曰：「朕思屬幼孤，無易公者。公昔不遺李密，豈負朕哉？」勣感涕，因齧指流血。俄大醉，帝親解衣覆之。帝疾，謂太子曰：「爾於勣無恩，今以事出之，我死，宜即授以僕射，彼必致死力矣！」乃授疊州都督。
高宗立，召授檢校洛州刺史、洛陽宮留守，進開府儀同三司、同中書門下，參掌機密，遂為尚書左僕射。永徽元年，求解僕射，聽之，仍以開府儀同三司知政事。四年，冊進司空。始太宗時，勣已畫象凌煙閣，至是，帝覆命圖其形，自序之。又詔得乘小馬出入東、西臺，卑官日一人迎送。
帝欲立武昭儀為皇后，畏大臣異議，未決。李義府、許敬宗又請廢王皇后。帝召勣與長孫無忌、于志寧、褚遂良計之，勣稱疾不至。帝曰：「皇后無子。罪莫大於絕嗣，將廢之。」遂良等持不可，志寧顧望不對。帝后密訪勣，曰：「將立昭儀，而顧命之臣皆以為不可，今止矣！」答曰：「此陛下家事，無須問外人。」帝意遂定，而王后廢。詔勣、志寧奉冊立武氏。帝東封泰山，為封禪大使。嘗墜馬傷足，帝以所乘馬賜之。
高麗莫離支男生為其弟所逐，遣子乞師。詔勣為遼東道行軍大總管，率兵二萬討之。破其國，執高藏、男建等，裂其地州縣之。詔勣獻俘昭陵，明先帝意，具軍容告於廟。進位太子太師，增食千一百戶。
總章二年，卒，年八十六。帝曰：「勣奉上忠，事親孝，歷三朝未嘗有過，性廉慎，不立產業。今亡，當無贏貲。有司其厚賵恤之。」因泣下。舉哀光順門，七日不視朝。贈太尉、揚州大都督，諡貞武。給秘器，陪葬昭陵。起冢象陰、鐵、烏德鞬山，以旌功烈。葬日，帝與皇太子幸未央古城，哭送，百官送古城西北。
初，勣拔黎陽倉，就食者眾，高季輔、杜正倫往客焉，及平虎牢，獲戴胄，鹹引見臥內，推禮之，後皆為名臣，世以勣知人。平洛陽，得單雄信，故人也。表其材武，且言：「若貸死，必有以報，請納官爵以贖。」不許。乃號慟，割股肉啗之曰：「生死永訣，此肉同歸於土！」為收養其子焉。性友愛，其姊病，嘗自為粥而燎其須。姊戒止。答曰：「姊多疾，而勣且老，雖欲數進粥，尚幾何？」
其用兵多籌算，料敵應變，皆契事機。聞人善，抵掌嗟嘆。及戰勝，必推功於下。得金帛，盡散之士卒，無私貯。然持法嚴，故人為之用。臨事選將，必訾相其奇厖福艾者遣之。或問故，答曰：「薄命之人，不足與成功名。」既沒，士皆為流涕。
自屬疾，帝及皇太子賜藥即服，家欲呼醫巫，不許。諸子固以藥進，輒曰：「我山東田夫耳，位三公，年逾八十，非命乎！生死系天，寧就醫求活耶？」弟弼，始為晉州刺史。以勣疾，召為司衛卿，使省視。忽語曰：「我似少愈，可置酒相樂。」於是奏樂宴飲，列子孫於下。將罷，謂弼曰：「我即死，欲有言，恐悲哭不得盡，故一訣耳！我見房玄齡、杜如晦、高季輔皆辛苦立門戶，亦望詒後，悉為不肖子敗之。我子孫今以付汝，汝可慎察，有不厲言行、交非類者，急榜殺以聞，毋令後人笑吾，猶吾笑房、杜也。我死，布裝露車載柩，斂以常服，加朝服其中，儻死有知，庶著此奉見先帝。明器惟作五六寓馬，下帳施幔，為皂頂白紗裙，中列十偶人，它不得以從。眾妾願留養子者聽，餘出之。葬已，徙居我堂，善視小弱。苟違我言，同戮屍矣！」乃不復語。弼等遵焉。勣本二名，至高宗時，避太宗偏諱，故但名勣。後配享高宗廟廷。
季弟感，年十五，有奇操。李密敗，陷於世充。世充令作書召勣，對曰：「兄尚節義，今巳事主，昆弟不能移也。」固不從，殺之。勣子震嗣，終桂州刺史。震子敬業、敬猷。
敬業，少從勣征伐，有勇名。歷太僕少卿，襲英國公，為眉州刺史。嗣聖元年，坐贓，貶柳州司馬。會給事中唐之奇貶括蒼令，詹事府司直杜求仁貶黝令，長安主簿駱賓王貶臨海丞，敬猷自盩厔令坐事免，俱客揚州，失職怏怏。
時武后既廢中宗，又立睿宗，實亦囚之。諸武擅命，唐子孫誅戮，天下憤之。敬業等乘人怨，謀起兵，先諭其黨監察御史薛璋，求使江都。及至，令雍人韋超告州長史陳敬之反，璋乃收系之。敬業即矯制殺敬之，自稱州司馬，且言奉密詔募兵，討高州叛酋。即開府庫，令參軍李宗臣釋繫囚、役工數百人，授甲，斬錄事參軍孫處行以徇。乃開三府，一曰匡復府，二曰英公府，三曰揚州大都督府。自稱匡復府上將，領揚州大都督，以子奇為左長史，求仁右長史，宗臣左司馬，璋右司馬，江都令韋知止為英公府長史，賓王為藝文令，前盩厔尉魏思溫為軍師。旬日，兵十餘萬。傳檄州縣，疏武氏過惡，復廬陵王天子位。又索狀類太子賢者奉之，詭眾曰：「賢實不死。」楚州司馬李崇福率所部三縣應之。
武后遣左玉鈐衛大將軍李孝逸兵三十萬往擊之，削其祖父官爵，毀冢藏，除屬籍，赦揚、楚民脅從者。購得敬業首，授官三品，賞帛五千；得之奇等首，官五品，帛三千。
敬業問計于思溫，對曰：「公既以太后幽縶天子，宜身自將兵直趨洛陽。山東、韓、魏知公勤王，附者必眾，天下指日定矣！」璋曰：「不然。金陵負江，其地足以為固。且王氣尚在，宜先並常、潤為霸基，然後鼓行而北。」思溫曰：「鄭、汴、徐、亳士皆豪傑，不願武后居上，蒸麥為飯，以待我師。奈何欲守金陵，投死地乎？」敬業不從。使敬猷屯淮陰，韋超屯都梁山，自引兵擊潤州，下之。署宗臣為刺史。始回兵屯高郵，下阿溪。思溫嘆曰：「兵忌分，今敬業不知掃地度淮，率山東士先襲東都，吾知無能為也！」
武后又使黑齒常之將江南兵為孝逸援，進擊，淮陰、都梁兵皆敗。後軍總管蘇孝祥率奇兵五千夜度擊敬業，孝祥死，兵溺者過半，孝逸軍退守石樑。有鳥群噪敬業營上，監軍御史魏真宰曰：「賊其敗乎！風順荻乾，火攻之利也。」固請戰，遂度溪擊之。敬業置陣久，士疲，皆顧望不正列，孝逸乘風縱火逼其軍，軍稍卻。敬業麾精兵居前，弱者在後，陣亂不能制，乃敗，斬七千餘級。敬業與敬猷、之奇、求仁、賓王輕騎遁江都，悉焚其圖籍，攜妻子奔潤州，潛蒜山下，將入海逃高麗，抵海陵，阻風遺山江中，其將王那相斬之，凡二十五首，傳東都，皆夷其家。中宗反正，詔還勣官封屬籍，葺完塋冢焉。
初，敬業之叔思文為潤州刺史。敬業兵起，以使間道聞，固守逾月。城陷，敬業責曰：「廬陵王繼天下，無罪見廢，今兵以義動，何過拒邪？若太后是助，宜即姓武。」思溫等欲殺之，敬業不許。及揚、楚平，乃獨免。後遂賜武姓，歷春官尚書。或言本與敬業謀者，乃復徐氏，卒。子欽憲，開元中，仕至國子祭酒。
贊曰：「唐興，其名將曰英、衛，皆擢罪亡之餘，遂能依乘風雲，勒功帝籍。蓋君臣之際，固有以感之，獨推期運，非也。若靖闔門稱疾，畏遠權逼，功大而主不疑，雖古哲人，何以尚茲？勣之節，見於黎陽，故太宗勤勤於託孤，誠有為也。至以老臣輔少主，會房帷易奪，天子畏大臣，依違不專，委誠取決，惟議是聽。勣乃私己畏禍，從而導之，武氏奮而唐之宗屬幾殲焉。及其孫，因民不忍，舉兵覆宗，至掘冢而暴其骨。嗚呼，不幾一言而喪邦乎？惜其不通學術，昧夫臨大節不可奪之誼，反與許、李同科，可不戒哉！世言靖精風角、鳥佔、雲祲、孤虛之術，為善用兵。是不然，特以臨機果，料敵明，根於忠智而已。俗人傅著怪詭禨祥，皆不足信。故列靖所設施如此。