当时，隋政权已呈土崩瓦解之势，统治阶级一再发生大分裂,地主武装和义军星罗棋布于各地。
李渊素有大志,移官太原后，看到隋朝即将败亡，萌动了取而代之的念头。他左右的裴寂、刘文静及次子李世民亦纷纷建议起兵以 举大事。
到大业十二年，农民起义在全国已居优势，隋朝再也无法集中兵力有效地打击各个武装集团，李渊觉得时机成熟，乃于大业十三年(617)在晋阳杀死副留守王威和高君雅，正式宣布起事。
七月，李渊与长子建成、次子世民挥师南下，先后破霍邑(今山西霍县),渡黄河，向西南挺进。当时,隋炀帝远在江都(今江苏扬州)，关内隋军力量薄弱;中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父 子进军神速,十一月间攻入长安。
李渊进入长安不久,就宣布遥尊隋炀帝为太上皇,拥立炀帝孙代王杨侑为帝,改元义宁，是为隋恭帝。恭帝进封李渊为唐王，以李建成为唐王世子;李世民为京兆尹，改封秦国公;封李元吉为齐国公。
义宁二年(618)李世民徙封赵国公。618年3月，隋炀帝在江都被部将杀死。五月，李渊即位，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。
不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
唐朝建立后，唐高祖面临的首要任务是以关中为根据地统一全国。为此，他派李世民攻打据有金城(今甘 肃兰州)等地的薛举。
经过反复较量，唐军于武德元年 (618) 十一月俘杀薛举子薛仁杲，平定了西北广大地区。 同年冬，幽州罗艺降唐。
武德二年，唐朝出使凉州(今 甘肃武威)胡商安兴贵、安修仁兄弟计擒李轨，平定了 河西走廊。同年,刘武周、宋金刚勾结突厥大举南攻,占 领了今山西省大部分地区。
唐高祖派李世民率军征讨,于 武德三年收复并州(今山西太原西南)，刘武周北走突 厥，不久被突厥所杀。这时，黄河流域形成窦建德的夏 政权、王世充的郑政权与唐政权鼎足而立的形势。
李渊 派李世民东征王世充，郑、夏结成联盟抗唐。次年，窦 建德被李世民所俘，王世充被迫出降。窦氏余部受唐迫 害，因而在刘黑闼的领导下两次起事，并联合突厥兵南 攻。
李渊先后派秦王李世民及太子建成率军东讨。建成于武德六年俘斩刘黑闼，平定了河北地区。在江淮方面， 李世民东征时,占有丹阳的杜伏威受唐朝册封为吴王,不 久，又亲赴长安朝见唐高祖。
武德六年，杜氏的江淮余 部在辅公□策动下再度起事反唐，据丹阳，称宋帝。七 年公□被执杀,江南平。
武德四年唐大将李靖围江陵,南 朝梁代后裔萧铣降,其于隋末所建的萧政权被消灭。五年， 岭南(今广东、广西一带)冯盎降，唐以其地置八州。同年，据有虔州(今江西赣州)的林士弘死，其地为唐所有。
经过七八年的争战，李渊和他的儿子李世民终于消灭了各地割据势力，镇压了各股农民起义军，统一了全国。