李渊和窦氏共生四子一女：建成、世民、元霸和元吉；一女嫁给临汾人柴绍，她就是组织“娘子军”的平阳公主（也有史籍记为平阳昭公主）。在诸兄弟中，李元霸只活了十六岁，在大业十年（公元614年）就夭折了；而长子建成、次子世民、四子元吉都是协助李渊太原起兵，建唐称帝，统一全国的重要人物；平阳公主也是一位巾帼将才，曾率“娘子军”帮助父亲打天下。
杨坚受禅而废北周，建立隋朝，他就是历史上的隋文帝。李渊的姨妈独孤氏理所当然地成了独孤皇后。
虽然有姨妈的特别关爱，但李渊在隋文帝时并不是特别显赫，仅先后位千牛备身（皇帝亲身护卫）和谯州（今安徽省亳县）、陇州（今陕西省陇县）、岐州（今陕西省凤翔县）的刺史，没有多大的实权。
到了隋炀帝杨广即位后，作为杨广表兄弟的李渊才逐渐得到重用，手中的实权也逐渐强大起来。
隋大业初年，李渊被任命为荥阳（今河南省荣阳县）、楼烦（今山西省静乐县）二郡太守，不久又被任命为殿内少监。
隋大业九年（公元613年），隋炀帝发动征伐高丽的战争（隋第二次远征高丽）。李渊受命在怀远镇（今辽宁省辽阳市西北）负责督运隋朝远征军的粮草。兵马未动，粮草先行，历来行军打仗，粮草的接济、保护都是非常重要的任务。因为重要，所以也特别辛苦，隋炀帝把这样一件关系着隋军安危的使命交给李渊，表明李渊在他心目中的地位还是不同一般的。虽然这种信任有一部分是出自于对亲戚的信任，但也必定有李渊的实际能力在其中起着重要作用。正是这两种因素逐渐使李渊在隋朝政权中占据越来越不可低估的地位。
隋炀帝接连征兵进攻高丽，还下令征发男丁十万人去修筑大兴城，致使国力空虚，老百姓苦不堪言，怨声载道，民众的厌战情绪非常强烈；再加上前几年隋炀帝倾全国的人力、物力、财力营造东都、修西苑、开凿京杭大运河，男丁已经非常缺乏，甚至开始役使妇女了。民不聊生，各地民众纷纷起义反抗。
世道纷乱，不仅布衣白丁惨遭横祸，连一些无权少势的殷富之家也在隋炀帝的敲榨勒索下破产。在拒谏诛贤的暴君领导下的隋朝统治阶级也熙来攘往，明哲保身之余胡作非为，捞取政治资本，鱼肉百姓。可想而知，民心该有多怨愤。
在隋炀帝征讨高丽之时，开国重臣、已故相国杨素之子礼部尚书杨玄感利用民心思变、天下大乱的形势，起兵反隋。杨玄感的大军直向东都洛阳逼来。
李渊事先觉察到杨玄感要举旗造反，于是马上派人带着紧急文书去报告远在辽乐的隋炀帝。而另一方面李渊却和宇文士及密商反隋大计。
隋炀帝得到这个消息，慌忙草草收兵，班师回朝，同时命令李渊为弘化（今甘肃省庆阳县）留守，指挥潼关以西各郡的兵马，抵抗杨玄感的进攻。
不久，杨玄感在隋朝大军的团团围攻之下，兵败身死。而李渊就留守在弘化郡了。
在此期间，李渊广树恩德，结交江湖豪杰，有很多人都去依附他，表示愿意为他效力。疑心病向来非常重的隋炀帝知道了这些事情，于是开始对李渊有了猜忌之心。
隋炀帝想来想去不放心，就派人去叫李渊来见他，恰好李渊重病缠身，没有前去。而李渊有一个外甥女王氏在隋炀帝处办事，于是隋炀帝就问王氏：“你的舅舅为什么迟迟不来见我？”王氏告诉他说，舅舅病了，所以不能前来拜见皇上。隋炀帝听了这话，心情更加恶劣了，阴阳怪气地问：“他死了没有？”
王氏听了这话，心中大惊，一时找不出个计策来应付隋炀帝这个杀人如麻的昏君，只得低眉顺眼地站在那里，一声不响。隋炀帝倒也没有难为她，说完就走了。
王氏毕竟知道此事非同小可，随后把事情本末告诉了在弘化留守的舅舅李渊。
李渊得知此事，大吃一惊，深悔平时太过招摇，暴露了心机，如果再这样下去，一定得被隋帝猜忌封杀不可。心气浮躁何以成大事？于是李渊开始故意成天酗酒，而且装得非常贪心小器地收受贿赂。他希望这种自我败坏光辉形象的做法能够把自己称雄天下的豪情壮志给掩盖起来，以消除隋炀帝的戒心，这样显然能够有效地避免遭到锋芒过于外露的隋朝宿将鱼俱罗、董纯、吐万绪的杀身之祸，防止隋炀帝喜怒无常的心思再兴起这样一个念头——像抄斩大将军李浑势力强大的家族一样把李渊的家族也给铲除！而且，这种韬光养晦的做法能够尽量躲开隋炀帝眼线的监视，坐观事态的变化，并且暗中扩张势力，等待时机成熟，乘机举兵而起，取隋朝而代之。
这就是李渊当时的真实想法。而不是像《资治通鉴》所说的那样，李渊是一个毫无心机，完全忠于隋王朝，没有任何政治野心的不贰忠臣。司马光等之所以要把李渊的形象定格成公忠体国，身不由己的顺民贤臣，也和欧阳修编撰《新唐书》的意图一样：对前朝史事的记述态度不得对本朝史事构成“唐突”。
李渊显然明白，杨广不是可以长久侍奉的君王，在他身边办事不仅如同陪伴一只害了疯病的老虎，而且对自己的政治抱负也是一种压抑。李渊准备自己主宰天下。
隋大业十一年（公元615年），隋炀帝降下圣旨，任命卫尉少卿李渊为山西、河东慰抚大使，承担该地区郡县选拔、抽调的文武官员的升迁贬谪的工作，还负责调集河东的隋军去镇压起义的农民军。（河东郡在今山西运城市）。
李渊领命，携带家眷往河东任所而来。当他们到达龙门的时候，遭到毋端儿率领的数千名农民起义军的狙击。李渊率军击溃了毋端儿部，并连续打败另外两支势力敬盘陀、柴保昌部，收服数万人，声威更加强劲。而且李渊的势力也明显变强。
第二年，李渊受命迁任为太原道安抚大使。
在以前，隋炀帝因为突厥始毕可汗部逐渐强盛，于是采纳裴矩的意见，策划分散始毕可汗的势力。隋炀帝打算把一个皇族女子先册封为义成公主，作为皇帝的女儿嫁给始毕可汗的弟弟叱吉设，还要封他为南面可汗。叱吉设接娶了义成公主，但是不敢接受可汗的册封。
始毕知道此事，对隋朝逐渐怨恨起来，想方设法要进行报复。
突厥部有一个大臣叫史蜀胡悉，这个人精通兵法谋略，深受始毕可汗的重用。隋大臣裴矩为了削弱始毕的势力，派人诈称要和史蜀胡悉做生意，把史蜀胡悉骗到马邑，杀死了他。然后裴矩又叫人去对始毕说：“史蜀胡悉背叛可汗来向我投降，我帮你把他杀了。”始毕当然明白这是隋朝的阴谋。从此，始毕再不派人朝见隋炀帝。
隋大业十一年（公元615年）秋，隋炀帝巡游北部边塞，历时到大业十二年。始毕可汗获悉此事，立即策划率领几十万骑兵袭击隋炀帝的车队。
嫁到突厥去的义成公主探听到始毕的计谋，派人飞马向隋炀帝报告了这个潜藏的变故。隋炀帝得到义成公主的情报，迅速驰入雁门城。
始毕可汗的部队很快包围了雁门郡。面对刀如山、戟如海的浩荡突厥兵，隋军惊慌失措。由于仓忙应战，隋军的战略物资根本没有准备，万般无奈之余，隋军只得拆房捣屋收集卫城拒兵的材料；城中有军民十五万人，而粮食只够供应二十天，大有掘鼠罗雀之虞。
很快，始毕部连续攻破雁门郡四十一座城池中的三十九座，只剩下雁门城、崞县尚在隋军手中。
连拔数十城的突厥军猛攻雁门城，狼牙箭已经射到隋炀帝的面前了。隋炀帝大为惊恐，抱着赵王杨杲直哭，连两只眼圈都哭得又红又肿。
李渊接到雁门危急的求救书，立即和马邑太守王仁恭率军前往救援。但李、王所率隋军寡不敌众，只得暂时败退。
退守营盘的李渊经过深思熟虑，决定选精骑兵二千人在驻地附近游逛，找水草丰美的地方去喂马，还像突厥人一样骑马驰骋打猎，故意给突厥部一种闲暇的假象；另外挑选箭法精湛的士兵埋伏起来作为奇兵。
始毕的突厥兵见到李渊领头的隋军这个样子，以为他们不敢出战，于是都放松了警惕，对隋军满不在乎。
李渊见时机已经成熟，立即命令埋伏的射手迅速出击。突厥兵猝不及防，惨遭败绩，被隋军击毙数千之众，只得撤军北还。
雁门郡之困由此得解。从此，只要李渊亲临北部边塞，突厥就不敢轻易进犯。
李渊在隋炀帝那里随即更受重视了。
隋大业十二年（公元616年），李渊被任命为右骁卫将军，调任为太原道安抚大使。战功得到了奖赏，图霸天下的力量也在集聚。
隋大业十三年（公元617年），李渊被任命为太原留守，郡丞为王威，副将为武牙郎将高君雅。李渊更有长留太原的意图了。
太原是隋朝军事重镇，兵源充足，粮草丰沛，府库储粮可耐久战。能够在离乱变迁的时候把持这样一块兵家宝地，李渊必定有正中下怀，幸甚至哉的畅快！李渊的部下温大雅在他写的《大唐创业起居注》中这样描述李渊得镇太原的心态：
帝以太原黎庶，陶唐旧氏，奉使安抚，不腧本封，因私喜此行，以为天授。
所经之处，示以宽仁，贤智归心，有如影响。
等到隋炀帝任命李渊为太原留守时，李渊又是一阵窃喜，对二儿子李世民等说：
唐固吾国，太原即其地焉。今我来斯，是为天兴。与而不取，祸将斯及。
然历山飞不破，突厥不和，无以经邦济世也。
由此可见，李渊自己早就有反隋的决心，他时刻都在思考图谋大业的事。时刻都在等待举兵时机，而不是像后来的《资治通鉴》、《新唐书》说的那样，是一个浑浑噩噩，惰于思考的庸才，也不是一个受儿子驱策的凡夫俗子。
温大雅长期跟随李渊南征北战，对李渊的起居言行肯定很熟悉，而且他的《大唐创业起居注》成书于隋义宁至唐武德年间，下距玄武门之变尚有八九年的时间，因此能够比较诚实地记述李氏父子反隋兴唐的事迹和各自的作用。
李渊有重大图谋已是确定事实，不过，正如他自己所说，强大的农民起义军“历山飞”和外族突厥威胁着太原的南、北两方，不剪除这两股势力，非但谋取天下无望，就连固守太原也是不易。
因此，李渊到太原后的最大任务就是铲除“历山飞”农民起义军，为他巩固在太原的势力扫清道路，同时缓和与强劲的突厥关系。只要这两股贴近太原郡的危险势力消除了，李渊在太原就能站稳脚跟，然后以此地为根据地，削平四周的割据势力，吞并隋朝天下就指日可待了。
而在发展自己的势力，观察隋朝政局变化的过程中，李渊仍有必要以信誓旦旦的护围忠臣面目出现，韬光养晦，等待时运而突起异兵。
隋大业十二年（公元616年），隋炀帝巡游江都（今江苏扬州市）。
隋炀帝此次游江都，也和以前一样，造了许多新的龙舟——因为以前那些已经被叛乱的杨玄感烧掉了。江淮的奇珍美女当然又得遭殃了，平民百姓起来反抗的决心也越大了。
杨广非常依恋江都，有很多大臣劝他北还，他都不听。这对据守太原的李渊来说，无疑又助上了一臂。
太原留守李渊利用昏君远游不能及远的便利条件，乘机扩充自己的实力。
于是，“历山飞”起义军首先遭遇到李渊的攻击。
“历山飞”是太原郡附近的一支农民起义军王须拔部的手下大将魏刀儿的自号。王须拔自称漫天王，定国号为燕。
这支起义军结营驻扎在太原郡南部，数量达十多万之众，一时间截断了上党郡、西河郡的内外联系，声威震于隋朝。
“历山飞”巧于攻城，作战非常勇猛。他们先向南边的上党郡进攻，打败了隋蒋慕容罗侯的军队；然后于隋大业十二年（公元616年）四月派部将甄瞿儿率领十万大军攻打太原，隋将潘长文兵败身亡。
李渊任太原留守后，即率领郡丞贲郎王威等人和太原郡以及从河东郡带来的兵马，前去镇压连战连捷的“历山飞”。
两军在河西郡雀鼠谷口（在今山西省灵石县境内）相遇。当时，“历山飞”起义军有两万多人出战前来，而李渊所率部众只有五六千骑兵、步兵而已。
面对如此悬殊的军力，王威和其他将士都非常害怕，暗想如今必定马革裹尸了。
李渊见到部下这个脓包样，笑着说道：“各位无须担心。这些乌合群盗，看中的只是钱财。他们连连得胜，就有恃无恐，以为自己是万能的军队了。如果我军凭蛮干去和他们相斗，当然不可能取胜，但是如果运用智谋，肯定能够击败他们！”
不一会儿，“历山飞”起义军列阵直向隋军逼来，十里之间，首尾相连，阵容确实强大。
李渊立即将所率兵马分为两阵，把老弱残兵放在最中央，叫他们多多地打出大旗来，并拖拽各种辎重物资行进，同时大肆吹响军号，以此迷惑“历山飞”，使他们以为隋军主力就在此处；另外又选出精锐骑兵数百骑，分成两个小队，安置在假主力的两翼。隋军上下，没有谁明白李渊的葫芦里装的是什么药，不过既然主帅要这么干，总有他的道理，即使没有道理，如今也只有等开战以后才能明白了。因为作将帅的不能随便下命令，他的一举一动都关系着千百人的生命甚至一个国家、一个民族的生死存亡，怎么可以像小孩玩游戏那样轻率呢？所以，孙子说得好：“兵者，国之大事，死生之地，存亡之道，不可不察也。”
隋军和“历山飞”军即将接触！
李渊命令王威率领虚假的主力为前锋，大张旗鼓地迎向“历山飞”军。
“历山飞”军以为王威所率部就是李渊所在的主力，当即派出精锐兵力冲杀而来！
王威见了这种杀人饮血的酷烈阵仗，吓得从马上摔了下来，要不是他的随从机智，马上把他从地上拽了起来，他的姓名非添在“历山飞”的功劳薄上不可。
“历山飞”冲到阵前，见是大批的作战物资，不知是计，还以为在困难的岁月里得到了人生战场中的巨大收获和补偿，于是纷纷聊发抢物狂，蜂拥而上。可以想象当时的景象：一群人手握兵戟，衣衫褴缕地耷拉在瘦骨嶙峋的躯体上，满是菜黄色的瘦脸上只有双眼闪着光芒——这种光芒中有渴求，有希望，有仇视，而此时却闪动着狂喜的攫取之光！他们狂叫着，蹦跳着，扔下了手中的武器和狼狈逃窜的敌人，朝着胜利的果实猛扑过去，抓抢着，欢笑着，或许还有喜悦的泪珠滑过纵横沧桑的脸庞……但是，这群少有喜悦的人没有想到，就在不远处，有一双冷酷的眼睛正静静地注视着他们的喜悦和悲伤，这双眼睛里缺少对受苦人的怜悯，更没有为即将遭杀戮的人而痛苦，它们有的只是征战的自信、胜利的喜悦和主宰天下的豪情。
对这种组合，这种画面，人们会有怎样的感叹？
无论后人怎样感叹，李渊还是举起他那霸主的马鞭：两翼进攻！
两支骑兵夹攻“历山飞”，不需要太丰富的想象力了，用两个字就可以概括当时的情形——惨烈。李渊亲自率众夹击，对“历山飞”军众进行交叉射击。仆尸无数，血流成河。
“历山飞”大乱而退，李渊乘胜追击，所向披靡，直达“历山飞”腹地纵深。
此次战役，李渊招降“历山飞”部属男女老少数万人，从根本上铲除了这支起义军的势力根基。
消灭了“历山飞”，李渊转而对付北面威胁太原郡的突厥人。
隋大业十二年（公元616年）李渊任太原道安抚大使时，曾会同马邑太守王仁恭率军屡败突厥人，使之深为忌惮。如今李渊留守太原，王仁恭独留马邑郡，孤立无援，因此突厥骑兵频频进犯马邑郡，隋朝边关将士深以为患。
李渊于是派太原副留守高君雅率领兵马前去援助王仁恭。但高君雅和王仁恭联合起来也不是突厥人的对手，屡战屡败。突厥人的进犯更加猖狂了。
远在江都的隋炀帝得知此事，游兴大败，长期不问政事的脾性一转弯，要严肃地对待败于突厥之事了。于是他风风火火地派人到北面来杀掉王仁恭，逮捕李渊，并押往江都治罪。从隋炀帝对待王仁恭和李渊的不同态度上可以看出，隋炀帝杨广对自己的表兄弟还是留有情面的——虽然这点情面远远不能满足李渊的巨大要求。
当时天下大乱，许多贵族巨户拥兵自重，割据一方，致使交通断绝。隋炀帝派到各地抓叛捕盗的兵马多数难以行进，来往传递信件的使者也不能安全通过，而唯独这次派到太原郡来的“勾魂使者”没有遇到拦路大王、剪径山贼，一路平安地到达了太原，所以这帮久见混沌世道的使者们无不莫名惊诧，大叫怪哉。
这群催命鬼在一天夜里到达太原郡任所晋阳城（今山西省太原市南）。
这天晚上，温彦将（即温大有）到城西门楼上去睡觉，刚好看到抵达城下的隋炀帝使者，马上报告了他的哥哥温彦弘（即著《大唐创业起居注》的温大雅）。温彦弘急忙向李渊的住处赶来。
李渊当时刚刚睡下，听说隋炀帝的使者到了，大惊而起，如梦初醒。
李世民闻讯也飞奔至父亲的卧房。
听了温彦弘的报告，李渊拉着他的手笑着说：“如果这件事以后我还能活着，一定是上天给我的恩赐了。”又对二儿子李世民说：“我听说只有神仙才会不走路而到想到的地方，不死赶活赶而行动迅速。今天这些使者完全可以称为神仙了！上天派这些人来催促我，看来我必须见机行事了。我之所以没有提早起兵，是因为你的兄弟们还没有回来呀！现在我将遭遇口里之厄，你们兄弟几个一定要齐心合力，举兵图存，不要和我一起遭受满门抄斩的祸事，搞得家破人亡，被英雄所笑！”
从这句话完全可以看出，李渊早已有反隋之心，之所以没有正式打出大旗来，一方面如他所说，是因为他的家属大多在河东郡（当时李建成、李元吉都在河东）。还有两方面他没有说出来，即他需要一定时间来巩固太原这块基地，而不能像杨玄感之流，草草起兵而终为隋军所败；且当时隋朝势力尚强，不宜起兵。
李世民见父亲大人为了家属的安全不愿起兵，也不逃跑，于是哭着说：“全国河山如此之大，到处都有安身之处。请父亲大人学一学汉高祖躲起来，等机会成熟了再出来图谋大业！”
李渊听了儿子的话，摇了摇头，说：“今天这样是时运决定了的，我虽然能机变灵活，又怎么样呢？但是天命所在，我必定成大业，所以这件事未必不是一种启示。我今天要尊敬上天的旨意，赌一下命运。如果上天保佑我，我岂能被他们害了？如果上天一定要消灭我，逃跑又有什么用呢？”
这是温大雅《大唐创业起居注》上的记载，也不知道李渊是否真是完全说过这些话。不过李渊确实有可能说过类似的话。但是若他真是像自己所说的那样，要和命运之神赌一把，那就和李世民、温大雅一样——上了他的当了。
因为当时的形势是，李渊留守太原重镇，是抵挡突厥和四处起义军的一支强劲力量，他明白，他知道隋炀帝也明白，所以他决定留在太原郡不动，等隋炀帝的人来抓。在这种情形下，可能会发生两种事：一、李渊被抓走，那么太原郡的防御力量必定少了一根擎天柱，突厥、起义军就会大举进犯太原重镇。太原告急，隋炀帝首先会想到谁？必是李渊。因为到此为止李渊最多只是犯了点失职的小错，完全可能给隋炀帝“皇恩”浩荡一下——发还回太原将功赎罪抵抗突厥。而且李渊在太原也快两年了，远比其他人熟悉太原的情况，加上和突厥屡次作战，对突厥的情况也了解得比其他人透彻，不叫他去救太原叫谁去？何况隋朝天下大乱，王公贵胄造反的已不是少数，朝中早已无人了！第二种情况是，隋炀帝再派人来收回成命——这只是提前让李渊回去救太原而已，而且这种提前会给隋王朝减少许多麻烦。如果隋炀帝头脑灵活的话，他会作出第二种选择。
所以李渊完全胸有成竹，早就认定了自己不会有什么大事，所以他不想逃跑。逃跑是什么后果？肯定大事不妙。如果李渊逃跑，必定更加激怒隋炀帝，隋炀帝盛怒之下，就不会把李渊同王仁恭区别开来了，而会生出杀之而后快之心，那么李渊就站在了隋王朝的对立面——这既不利于李渊的生命安全，更不利于他图谋天下的大业。杨玄感起兵反隋终究败亡就是一个最好的实例。出于同样的目的，李渊也不会在这个时候起兵——因为那样做无疑更直接地表明了反隋的态度，同样会遭到隋王朝的团团围攻——既然自己已经确信隋炀帝不会真的动了必杀之心（与王仁恭的处理的分别就是证明），为什么要自己把悬着灭顶之石的绳子割断呢？
因此，完全不能认为李渊是个优柔寡断，盲目尊崇上天的人，而应该确定他是一个老谋深算，极富心机的政治家——他极能隐忍，绝对不在势力尚小，时机不成熟的时候显露政治抱负。隋大业十年（公元614年）李渊任弘化留守时曾因广结江湖豪杰而暴露了政治野心，若不是他见机行事，随即采取酗酒纳贿这种“自甘堕落”的应付措施，只怕非但不能留守太原重镇，而且已经身首异处了，何谈图谋天下！
所以，王夫之评论李渊：“高祖意念之深，诚不可及也。”极有道理。
不出所料，隋炀帝的第一批使者刚到太原没几天，第二批使者就来了，赦免了李渊和王仁恭的罪过，让他们依旧担任原来的官职。
这次险遭拘捕事件使李渊加快了举兵起事的准备。他命令长子李建成仍留在河东郡，广结英雄豪杰，命令次子李世民在晋阳城秘密招揽有才能的朋友。李建成、李世民都很有谋略，经常广施钱财，接济贫困；而且广泛结交各种朋友，不管出身高低贵贱，也不管他是商贩还是赌徒，只要有一技之长，都收罗门下，即使有些失礼的举动，建成、世民也不会说什么，因此两兄弟都非常得人心，门下能人异士数不胜数。
李渊自己也广泛接触各色人等，不分贵贱贫富，李渊只要见过一面，就会长期不忘。而且他还经常研究天下的山川要冲和风俗习惯。
经过父子三人的努力，李渊麾下网罗了大批能人，史书记载的比较有名的就有：刘文静、刘弘基、殷开山、刘正会、温大雅、唐俭、武士彟、王长阶、权弘寿、姜宝谊、长孙顺德、杨毛、窦琮等。这些人对李渊替隋建唐立下了汗马功劳。
大将已有，兵马已足——李渊镇压数起农民起义军，收罗了大批降将降兵，加上李渊父子三人有意扩张势力，其粮草兵马必定迅猛增长——李渊意已动。他感到起兵的时机已经到了，因为这时太原郡四周郡县几乎全被造反背隋的贵族军队、农民起义军占领。李渊需要的只是一个正式兴兵的有力借口了。