之后，李渊“讨贼不力”，隋炀帝要兴师问罪。李世民乘机第三次规劝李渊：“现在的朝廷是君昏臣乱。父亲尽忠是没有意义的。现在晋阳士马精强，宫监蓄积巨万，如果以晋阳的资源举事，何患无成!”李渊这次在李世民的劝说下，终于下了起义的决心。当然这些都是唐朝初期李世民修订的历史的说法，如果没有李渊早有不臣反叛之心，如果没有李渊利用身份暗中进行了准备，太原起兵最终不会付诸实施。
还有一段流传很广的故事，也可以说明李渊是自动走上造反道路的。传说晋阳宫监裴寂和李渊交好，往来甚密。裴寂为了前途计，早想投靠新主子了。作为太监，唯一的方法就是扶立新天子。他看中了李渊的潜力，决定促成李渊造反。一次，裴寂请李渊饮酒，将他灌醉。之后，裴寂安排隋炀帝留在晋阳宫的妃子和宫女为醉酒的李渊侍寝。一夜风流清醒后，李渊意识到了事情的严重性：隋炀帝要是知道自己与妃子睡觉的事情，肯定饶不了自己。裴寂于是劝说李渊造反。《新唐书》正式将这个传说记入正史。它还增加了一些情节，说整件事情其实是李世民和裴寂两人的阴谋。事后，裴寂劝说李渊举事，李渊在大惊之余还是犹豫不决。裴寂恐吓说：“事发，你我大罪当诛，现在只有叛隋一条路可以走了。”李世民在关键时刻，出现在谈话中，敦促父亲造反。李渊觉得自己被算计了，开始还拒绝作乱臣贼子，扬言要将李世民送官法办。但是片刻思考后，李渊点头同意了。
太原副留守王威和高君雅都是隋炀帝的亲信，安插在太原监视李渊。他俩意识到情况反常，判断李渊极有可能加入造反者的行列，决定先下手除掉李渊。他们假称将在晋祠举办祈雨仪式，请李渊主持，准备暗中埋伏士兵杀掉李渊。晋阳乡长刘世龙知道了王高两人的阴谋，告诉了李渊。
知道王、高两人的刺杀阴谋后，李渊是不想造反也不行了。
二
617年5月15日早晨，李渊和王威、高君雅议事。刘文静领太原属下开阳府的司马刘会政赶来，说有密状呈给李渊。原来刘会政告两位副留守勾结突厥，图谋不轨。李渊认为证据确凿，将二人拿下正法。王威、高君雅不甘束手就擒，召唤亲兵随从拔出兵器拒捕。无奈，大殿外涌入李世民早已经埋伏好的铁甲精兵。没几个回合，王、高等人就被俘了。当天，王威和高君雅被斩首。当时，突厥趁中原大乱，时常入侵中原。太原城外时常出现游荡的突厥骑兵。李渊为除去王、高二人找的理由非常自然，他人找不出确切的反对证据来。
除去两个碍手碍脚的奸细后，李渊开始明目张胆地准备起兵。617年7月，李渊率军三万在太原誓师，正式起兵。作为从隋朝阵营中脱离出来的高级贵族，李渊一开始就显露出比一般造反者高明的地方。他不称王称霸，而是发布了兴兵檄文。其中，李渊宣称自己是替天行道，而不是争权夺利。他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使“豺狼充于道路”，民不聊生。因此，李渊起兵的目的是要废掉昏君，改立明主，拯救万民于水火之中。这样声明为李渊减轻了许多政治阻力。同时，李渊的目的也是非常清醒、明确的。那就是直取隋朝的心脏——首都长安。李渊不像农民军一样，攻城略地，扩充地盘，也不像杨玄感、李密一样，脑袋发热，目光短浅，聚焦在少数大都市上。起兵后，李渊采取了灵活正确的战略，一面派遣刘文静出使突厥，请求突厥可汗派兵马相助，主要目的是减轻突厥南下的军事压力；一面招募军队，率师直向长安冲去。
在所有造反者中，李渊只能算是一个中等规模的势力。从太原到长安，沿途有数倍于己的隋朝军队。当李原的三万军队沿汾水南下到达贾胡堡时，隋朝长安留守方面就派虎牙郎将宋老生率精兵两万扼守霍邑，左武侯大将军屈突通驻河东，阻截李渊。李渊这时遇到了大麻烦。上天大雨倾盆，军队又缺粮，背后则传来突厥与刘武周将乘虚偷袭太原的情报。李渊仓促招集将佐，决定撤退，而且一部分军队已经启程了。两个儿子李建成和李世民就劝他说，困难是暂时的，如果全军撤退回太原，李家就只能做一个割据头目了。李家起兵的目的不是割据，而是造反夺天下。李渊醒悟后马上召回军队，猛攻霍邑。不久，后方军粮运到，突厥偷袭太原的消息也被证实是个假情报。而霍邑在唐军猛攻面前失陷，宋老生被杀。长安变得无险可守，成为了李渊的囊中之物。李渊一路上瓦解农民起义军和收编地主武装，壮大自己，进军到长安时已拥有20万军队了。
客观的说，李渊抓住了千载难逢的良机。此时李密领导的瓦岗军正在洛阳与隋朝的主力王世充军激战，关中地区空虚。而河东方向的隋朝官军为了抵御河北各地的农民起义军，不敢西进进攻李渊军队。结果造成了李渊的部队遇到极少的阻碍，坦然前进。
李渊的确得感谢各地农民兄弟为他营造的良机。
三
防守长安的代王杨侑是个小孩，是隋炀帝的孙子，算起来也是李渊表孙子辈的。
杨侑根本就不懂事，任由城内留守的几个顽固大臣主持守城。长安孤城很快就被唐军攻破，李渊胜利占领了首都。这时，李渊早年的政治经历和官场实践为他充分利用长安的价值提供了帮助。一进城，李渊就号令三军：“犯隋七庙及宗室者，罪三族。”唐军严格做到了这一点。城内的隋朝高官、贵族和百姓的心理迅速安定了下来。李渊入城后，仿效汉高祖刘邦当年与关中居民的约法三章，他也约法十二条，规定杀人、劫盗、背军、叛者死，废除隋朝的严刑峻法和苛捐杂税，严格执行。长安城很快就从安定中走出来，转而支持李渊了。李渊带来了新的秩序，更好的制度，为什么不支持他呢？
占领了首都并不意味着占领了天下。李渊知道目前的力量和皇帝宝座还是有距离的。当时代王杨侑好好地躲藏在王府中。李渊就把他抬了出来，尊为名义上的皇帝。义宁元年（617年）11月，杨侑在大兴殿即皇帝位，改元义宁，遥尊远在扬州的爷爷杨广为太上皇。李渊立杨侑为天子就取消了隋炀帝的正统性，占据了最高的法统地位。他又以杨侑名义自加假黄钺、使持节、大都督内外诸军事、尚书令、大丞相等头衔，进封唐王，综理万机。李渊长子李建成成为唐世子，次子李世民封秦王，三子李元吉封齐王。
废黜昏君，拯救黎民的政治宣传的背后通常都隐藏着一颗冲击最高权位的欲望之心。以丞相的名义辅助国政，总理一切，这都是之前的权臣们夺取大权的一贯准备步骤。从魏晋故事到隋文帝杨坚代周都是如此。李渊的特殊之处是他在起兵五个月之后就做到了前人花费数十年才做到的一切。李渊曾概括自己的幸运说：“我虽失意于后主（指杨广），幸未负于先帝（指杨坚）。”在这里，他依然将自己作为隋朝的臣子，得意地炫耀自己才是隋文帝杨坚的继承人。618年的正月丁未，隋帝杨侑下诏赐唐王李渊剑履上殿，入朝不趋，赞拜不名的待遇，唐王仪仗加前后羽葆、鼓吹。李渊在事实上与皇帝宝座已经很近了。
李渊毕竟是官场老手，面对许多农民造反者梦寐以求的皇帝宝座，他压住了内心的冲动。
唐朝肇建
一
618年晚些时候，隋炀帝杨广在扬州被杀。
两年之前，杨广不顾隋朝安危，再次巡游扬州，沿途有人胆敢进谏，杀无赦。他很清楚这是在逃避，更清楚其实去哪里也逃避不了。在扬州的日子里，杨广就预感到了这个结局。在扬州的杨广心里日夜受到起义烈火的煎熬。晚上他难以安睡；即使入睡，梦中又常惊呼有贼，需要宫女象哄孩子那样摇抚、哄着才能入睡。
有一次，隋炀帝对着镜子发呆说：“这么好的头颅，不知道谁来砍它呢？”
眼看大部分领土已被起义军所控制，隋炀帝决定迁都到长江以南的丹阳（今南京），命民众给他修建宫室。但禁卫军将士都是关中人，早就不愿久居南方，现在见皇帝要继续南迁，军心浮动，纷纷谋划逃归故里。618年3月，右屯卫将军宇文化及、将作少监宇文智与将领司马德勘、裴虔通等人率领士兵杀入宫中缢死了隋炀帝，隋朝灭亡。之所以被缢死，还是杨广自己的选择。叛军们原来要用兵器杀死杨广，杨广则要求给自己留个全尸去见祖宗。