起兵反隋
公元616年岁末，突厥袭击马邑，隋炀帝命令李渊和马邑太守王仁恭迎战。李渊派遣王仁恭和高君雅出战。王仁恭和高君雅的联军中了突厥的埋伏，几乎全军覆没了！晋阳城军民一片恐慌，以为突厥铁骑又要南下了，好在不久便传来了突厥在捞了一个肥手之后退出塞外的消息。
过了几天，高君雅将军从前线回到了晋阳（即太原），随身仅带了一百多人，接着又有一些伤兵络绎不绝地返回。高君雅告诉李渊，从太原带去的八千官兵中有六千为国光荣捐躯或负伤，其余一两千人被马邑郡守王仁恭恳求留下帮助守边，边塞的兵力现在已经空了。李渊十分愤怒地指责高君雅违背了当初出发前李渊为他制定的“只准防守，不准出击”的战术安排，给军队造成如此巨大的损失，理当受到国法的惩罚。但一考虑到高君雅是皇上的亲信，害怕承担打击皇上亲信的罪名，李渊强忍了，没有抓捕高君雅。高君雅生性庸碌得很，居然一点儿都没有慚愧的姿态，那份安然自在的样子，好像是刚刚前往边塞游览归来似的。
私下里，李渊痛心得甚至掉下了眼泪。他呕心沥血训练出来的精锐部队，就这样丢掉了一大半，对他整个积蓄实力的安排损害得多么严重，这事儿让他感到非常颓丧。
李世民得知此事后万般焦急，他与李渊的幕僚裴（pei）寂、刘文静等人密谋，商定一起劝说父亲李渊趁着大好时机起兵。李渊是精明人，早已看出隋室江山将不保，暗思要给自己留条后路，但碍于自己朝廷重臣的身份，有些事他不便亲自去做，由世民出面正合他意，他从心里十分欣赏这个儿子的才高志大，因而对世民的做法睁一眼闭一眼，不加干预，只是不希望他太过张扬，过早地把事闹大。另一方面，举旗自立，李渊不是没有想过，但他在隋为官已久，不愿担个背主不忠的罪名，因而即便自立，也需要合适的“时机”，一定要等到隋帝民心丧尽，隋室确实无力回天之际，他才肯乘时而起。
这时，来了钦差，“奉谕！李渊接旨！”
李渊跪倒接旨，只听那钦差高声宣读：“唐公、太原留守李渊与马邑太守王仁恭抗击突厥不利，疑有通敌之嫌。着王仁恭就地自裁，李渊速至江都，另行查办。钦此！”若是李渊跟从钦差走了，大概他就一去不回了。当然，以李渊的精明，还有李世民在这儿，他们是无论如何不会跟钦差走的。
此时北方又发生了一桩大事。原来马邑有一地方豪绅刘武周，马邑太守王仁恭敬他骁勇任侠，是一豪杰之士，待之敬有加，刘武周得以任意出入太守府第。不料这刘武周背恩忘义，竟与王仁恭府中一妾勾搭，此事被王仁恭得知，大怒，要抓刘武周问罪。刘武周索性一不做，二不休，杀了太守王仁恭，开官仓赈济饥民。时值青黄不接之际，又逢天下大乱，难民甚多。刘武周这一招很得人心，旋即收兵万余，南下袭破楼烦郡，进取汾宫，并以汾宫宫女、’财宝贿赂突厥可汗，始必可汗于是封他为“定杨可汗”，意为“平定隋杨”，并送来许多马匹、兵器以示支持。刘武周得到突厥支持，便自称为皇帝，改元“天兴”。
李世民再次对父亲进言：“父亲身为太原留守，而现在却被叛贼占据了汾宫，您将难逃其咎啊！若再不早定大计，马上就祸患临头了！”李渊仍在犹豫。
一天晚饭过后，李世民与裴寂、刘文静一道以汇报军中工作为名，走进了李渊的书房。李世民对李渊说：“当今皇上昏庸无道，百姓穷困潦倒，天下叛军众多。父亲您即使一心忠于朝廷，却也抵挡不了叛军的强大势力。朝廷的腐败父亲您也深知，您每次战斗获胜，应该邀功行赏的时候却没有您。
皇上搜尽天下之财，宁肯将财富赏赐给奸臣，却不肯让忠义之士的衣食稍稍宽裕，也不愿给我们一些名分；但是每当我们抵挡不了叛军、吃了败仗的时候朝廷却归罪于您。这种待臣之道，如何能使国家兴盛？父亲您也眼见天下苍生为朝廷所累，苛捐杂税、横征暴敛使得民不聊生。这种待民之道，又如何能使人民安康？父亲您身为朝廷中人，应深知为民谋福的道理，民乃国之本也。现在这样的形势正是天意，父亲您不如就顺从民心、揭竿而起，将暴君从宝座上赶走，自己建立一个国家，营造一个太平盛世吧！”
李渊听后大惊失色，不由得勃然大怒：“逆子！老夫毕竟是本朝的一员大将，吃着朝廷的俸禄，为朝廷平定叛乱本是我的天职。若出师不利，朝廷怪罪于我也是理所当然。你此番话语怂恿我犯上作乱，你怎敢如此放肆？”
李世民不慌不忙地说：“如今时局动荡不安，到处都是起义军。父亲您即使拼命讨伐，也灭不了四处蔓延着的起义火种，因为这火种来源于皇帝的昏庸无道、治国无方，您就是扑得了火也灭不了火种啊。而且，就算您平息得了全国的叛乱，得到了盖世的功绩，但是您不要忘记了树大招风这句古话。您好好想想，猜忌之心那么重的皇上能容得下您吗？他能与您分享共治天下的荣誉吗？既然这样，您不如为自己好好谋划，反正都是一死，您不如顺时起兵、推翻朝廷。”李世民话音刚落，裴寂、刘文静也随声附和，他们都称自己的想法与李世民一样，如果李渊愿意起兵，自己定当肝脑涂地，在所不惜，也会一心一意辅佐李氏父子成就大业。
这夜，李渊久不能寐，他一直在反复思考着儿子的话和自己幕僚的言语。第二天一早，李渊将儿子李世民以及几位幕僚召集到书房。李渊环顾四周，最后看着李世民，缓缓地说：“我决定接受世民的建议。他的话的确很有见地，也很有道理，那我们就举兵南下吧。”
但是此时李渊的其他几个儿子李建成、李元吉等不在李渊身边，他们在离隋朝都城长安较近的河东郡，他害怕仓促起兵引起皇帝的震怒，而使儿子们的性命白白葬送。而且，自己的辖地北临突厥，万一举兵南下攻打长安而突厥军队趁机偷袭的话，那么自己就失去了根据地，后果不堪设想。李渊十分清楚这些情况，而且这也是不得不考虑的问题，所以这让他对起兵计划有了一些顾虑，以致影响了计划的施行。
机敏的李世民看透了父亲的心思，他再次和刘文静、裴寂等劝说李渊：“先发制人，后发制于人。事不宜迟，我们应当早点抓住时机，趁早起兵。您可以借口母亲生病，将建成、元吉从河东召回，这样就可以保证他们的安全。”李渊听后，颔首表示同意。
但是这一顾虑虽消，另一顾虑又起：“那突厥军队我们该如何应付呢？我们要不要留重兵把守太原城呢？”他的担心并非没有道理，如果在太原留守的兵力太多，前方征讨的实力难免不足。如果留兵太少，又抵挡不住突厥人的侵袭，真是左右两难。
这时，刘文静进言：“将军不必担心。在下认为，我们可以派使臣与突厥商谈，和突厥结盟，这样我们就没有了后顾之忧。然后举兵南下，直取长安。”
李渊听毕大喜，一来为自己的霸业将起感到高兴，二来为自己身边有如此众多得力之人而感到欣慰。他起兵的信心也就坚定了。