正当瓦岗军在东京与官兵鏖战的时候，吕梁山又发生了一件惊天动地的大事：太原留守李渊在晋阳起兵！
大隋国基真的开始摇动了。李渊的父亲李暠，北周时任安州总管，袭封唐国公，母亲与文帝杨坚的独孤皇后是亲姐妹。李渊七岁袭封唐国公。
李渊年轻时倜傥豁达，性情直率，宽仁容众，待人不分贵贱。大隋立国后，因为皇戚，倍受抬爱，先后任谯州、陇州和岐州刺史。当时有个叫史世良的术士为他相面，说：“你骨法非常，必为人主，但应小心从事。”李渊谨记于心。
大业初年，李渊曾任荥阳、楼烦二郡太守，后征为殿内少监。大业九年，升卫尉少卿，二征高丽时，受命在怀远镇督运粮草器械。
民间流行李氏当王的谶语，杨广曾猜疑李渊可能是应谶之人，想召他回朝意欲加害，恰巧李渊告病，幸运地逃过一劫。
大业十一年五月，杨广游幸汾阳宫、出巡突厥时，又任李渊为山西、河东抚慰大使，调发河东兵讨剿义军。李渊行至龙门，义军首领毋端儿率几千人进攻龙门县城，李渊仅领数十骑出城陷阵，李渊连射七十箭，七十名义军士卒应弦而倒，吓得毋端儿调头逃走。
大业十二年四月，有历山飞将之称的甄翟儿率十万义军进攻太原，守将潘长文战死。杨广诏李渊为右骁卫将军、太原留守，率兵进攻甄翟儿。李渊率部在西河郡永安县的雀鼠谷与甄翟儿遭遇。当时李渊仅率两千骑兵先行，陷入义军重重包围。危机时刻，次子李世民率轻骑破重围，箭无虚发，所向披靡，将李渊救了出来。
李渊的子女个个英武过人，次子李世民尤为聪明果敢，见识超凡。杨广被困雁门关，李世民应召入伍，向云定兴献计解了皇上被困之急，深受皇上嘉许，此后便让他跟在李渊身边。
晋阳宫监裴寂和晋阳令刘文静，都是李世民的朋友，对李世民十分敬佩。刘文静曾对裴寂说：
“李世民非一般人，豁达似汉高祖刘邦，神武像魏武帝曹操。虽然年轻，却是命世之才！”
时交亥正，夜色深沉，在这万籁俱寂的时候，李世民悄悄走进了太原牢狱的大门。他是来探视刘文静的。
刘文静跟李密是儿女亲家。杨玄感兵败，李密脱逃，刘文静也因此受到株连，被皇上下令押入太原大狱。
牢狱上下已被李世民打点过了，由一名狱卒在前引路，来到关押刘文静的监房，狱卒先进去通报了一声：“刘大人，李公子来看你了。”李世民迈入监房，狱卒随即退出来，严严地关好了门。
分别已久，又是在狱中相见，两人都非常高兴。李世民作了个揖，呵呵地笑着说：“文静公，虽然屈居牢狱，晋阳令神采依旧啊！”
刘文静哈哈大笑着拱了拱手：“托福，托福。随遇而安，得时而动，只恨生不逢时，未遇明君啊！哎，世民老弟，你不趁这英雄四起的时候，好好干一番大事，反而跑到大狱里来看我这个罪人，岂不是荒废了时光！”
李世民说：“我来这里并非儿女情长，是来与你商议天下大计的！”
刘文静说：“如今天下大乱，非有商汤、周武、汉高、光武之才不能安定。”
李世民微笑着点点头：“不是没有，只是一般人没有看到罢了。”
刘文静心中明白，说：“我早就看出你是胸存大志的人，非同一般。世民老弟，如今皇上南下扬州，李密聚众进逼东京，大贼连州郡，小盗阻山泽，多不胜数。但是这些人成不了大事，必须有真主驾驭才能取天下。如果能应天顺人，举旗大呼，四海则不难平定。眼下太原百姓为躲避盗贼，都迁入晋阳。我任晋阳令数年，与许多豪杰相识相知，一声呼唤，召集十万八万人并不难。唐国公为太原留守，手中也握有几万兵马，如果他肯为首，号令即出，无人不从。这样便可乘虚人关，不用半年，即成帝业。”
李世民听着，不住地点头，说：“你说的，正是我所想的。只是怕家父不肯。”
刘文静说：“此事不可操之过急，还需你慢慢劝动，还有一个办法，”刘文静说到这里停了一下，故作神秘地低声说，“请晋阳宫监裴寂去办。”
李世民会意地笑了。第二天，李世民派人带了名帖，去请裴寂来家中饮宴。
裴寂与李渊有旧交，关系十分密切。因而也常与李世民交往，并且很佩服李世民的智谋才干。在与裴寂的交往中，李世民非常豪爽大方，他知道裴寂好赌，就经常输钱给他。裴寂当然十分得意，高兴之余，常常拿赢来的钱跟李世民、刘文静一起喝酒。这回接到李世民的名帖，裴寂以为不过又是喝酒赌钱，便欣然前往。
到了李世民家中，见餐桌上酒美肴丰，裴寂更加高兴，一时狂态大发，要跟李世民一醉方休。
没想到刚喝了三五杯，李世民便停杯长叹，神情非常沉重。裴寂吃惊地问：“公子有什么愁事，何至于这样长吁短叹？”李世民说：“昨天我去狱中探望文静公，他盛赞寂公可以为人消愁免祸。寂公与家父深交多年，互为至友。眼下家父有大祸临头，不知寂公能不能为他免除？”
裴寂更是吃惊了，说：“唐国公身为太原留守，地方权势集于一手，而且身体无恙，哪来的什么大祸！”李世民叹道：“寂公难道真的是只知其一，不详其二么？家父虽掌有重兵，也有权势，看似显贵。但是几年前皇上对他就有猜忌了。如今盗贼四起，天下大乱，谁能想到皇上会再生什么怪念头。一旦不测相加，家父便性命难保了。覆巢之下，岂有完卵？我受株连是当然的，恐怕依寂公与家父的关系，也难不被牵累。看看文静公，不就是与李密两家通婚么？到底还是下了大狱！”
一席话说的裴寂不吱声了，沉吟半晌才说：“公子的话极有道理。皇上暴虐性忌，喜听佞言。又逢乱世，掌兵的臣下更容易招祸。若说到消弥之法，我觉得惟有趁此乱时而起，拥兵自卫，未尝不是件好事。但是唐国公事君不二，不愿作逆臣，恐怕公子心中也是明白的。”
“所以才相求于寂公呀！”李世民诡秘地笑笑。“求我？”裴寂看看李世民，恍然大悟，说：“公子的意思，是要我跟唐国公一起造反啊！”李世民笑而点头说：“寂公说对了。如今大厦将倾，国将不国，寂公如能以危言劝动家父，共图大事，救社稷百姓于水火，难道不好吗？”
裴寂不说话，只是一杯接一杯地喝酒。李世民的目光一直紧盯着他。
终于，裴寂将酒杯“砰”地墩在桌上，说：“好！就这么说定了！我去试试。”
李世民问：“寂公打算用什么办法劝动家父？”“我自有办法，不过此时不可泄露！”裴寂也诡秘地一笑。其实，裴寂的办法很简单。他差人将李渊邀至晋阳宫喝酒，席间找来两个宫女作陪，轮番把盏相劝，不多会儿就把李渊灌醉了。裴寂便命两宫女搀扶着他进内室睡了。
晋阳宫是皇上的离宫，宫中美女全都是为皇上宠幸而准备的。裴寂身为晋阳官监，竟将宫女私侍外客；李渊是朝廷重臣，敢与两个宫女同床共寝，只要透露出去，两人都是死罪。
李渊半夜醒来，见自己被脱得一丝不挂，左右两边各躺着一个赤条条的美女，一时还没明白这是怎么回事。两个宫女早就得了裴寂的指令，见李渊醒了，便使尽百般娇媚，抚摸戏弄李渊。一个魁伟壮实的男子怎抵得住这样的阵势，李渊按捺不住，一阵风骤雨急，跟两个美女都做了好事。等喘息平定，热汗消去，又惊起了一身鸡皮疙瘩！
天亮之后，李渊质问裴寂。裴寂一脸无奈地说：“世民暗中召集兵马，欲举大事，恐遭你斥责而败露，让我想法劝你。我觉得天下乱势你比我看得清楚，担当大义的道理你比我还明白，无法以言词劝动，不得已出此下策！”
李渊长叹一声：“举事之心我何尝没有？如今你我都犯下大罪，干也得干，不干也得干了！”
李渊回到家，把李世民叫到跟前说：“举事造反我不怕，不过你可记得，解雁门之围时，你在皇上面前立的誓言？我怕人说你言而无信！”
李世民说：“父亲，当今天下混乱，百姓贫困，全因皇上荒淫所致。今天的皇上已非昨日皇上，难道我们还非得拥戴一个遭天下人唾弃的国君不成？”
李渊无言以对。“再说，我是为父亲着想。父亲受诏讨贼，贼可以讨尽么？讨不尽，则最终难免获罪。当年世间传说李氏当应谶言，结果李浑一族无辜被杀。父亲即便能讨尽贼寇，皇上给你个功高不赏，处境就更危险了。所以，举事大计，父亲不可再犹疑。”
李渊叹息说：“你说的极有道理。今日破家亡身由你，化家为国也由你了！”
李世民喜出望外，又马上提出请李渊设法将刘文静放出大狱，跟裴寂一起参与大事。
大业十三年七月，在经过几个月紧锣密鼓的谋划和招兵买马之后，李渊正式起事，自称大将军，建大将军府，任裴寂为长史，刘文静为司马。
刘文静说：“欲夺天下，必须先取关中。除了西进关中，直取长安之外，我们没有别的路可走。也惟有此，才可成功。”
后来的事实证明，这真是英明之举！
裴寂又献计策：为了避免过早地显山露水，成为众矢之的，此时先不公开宣称反叛朝廷，而是尊杨广为太上皇，拥立留守长安的代王杨侑为帝。这样，进军长安也算出师有名。
李渊听后，自嘲地笑笑说：“这是掩耳盗铃。然而迫于时事，也只好如此了。”
留守长安的代王杨侑听说李渊在晋阳起兵，就料知他想夺西京，而且来者不善，立刻派虎牙郎将宋老生率两万精兵屯守霍邑，左武候大将军屈突通屯守河东，阻击李渊西进。
七月底，李渊命四子李元吉为太原太守，驻守晋阳宫，全权处置留守事务。自己亲率三万甲士，立军门誓众，启程西进，开始了创业的义举。
此前不久，李渊写信给正在威逼东京的李密，想联合共举大计。这时候，派往瓦岗军的使者，带回了李密的复信：
“我与兄派流虽异，根系本同，自己才疏学浅，被四海英雄共推为盟主。希望左提右挈，戮力同心，执子婴于咸阳，殪商辛于牧野，共襄此盛举……”信中还要李渊率几千人马亲至沁阳，与他面结盟约。
看了李密的复信，李渊笑着说：“李密妄自尊大，不甘心居人之下，一群草寇推他为首领倒也罢了，还想要我也承认他的盟主地位。燕雀凌于鸿鹄，实在有些不自量力。不过，我们今天志在关中，如果与他断然绝交，等于又树一敌，于我不利。不如卑辞推奖，任他骄狂。利用他为我堵塞成皋之道，拖住东京之兵。等到关中平定，据险养威，再从容地观看鹬蚌之争，坐收渔人之利也不晚！”