下定起兵的决心后，李渊命令刘文静伪造敕（chi）书，谎称朝廷要在太原、雁门、马邑一带征兵攻打高丽。派李世民、刘文静、长孙顺德、刘弘基、窦综等到各地募兵，数日间就募集了数万人。李世民命令各级军官对新招募来的士兵严加训练。
但是，李渊身边的人并非都对他没有二心。李渊的左右副手王威和高君雅都是隋炀帝的老部下，他们是奉隋炀帝之命前来监视李渊的。王威、高君雅看见李渊招募来那么多士兵，就怀疑李渊有反叛之心。另一个叫日德平的军官也怀疑李渊图谋不轨，建议王威、高君雅去调查李渊募兵的内幕。所以，王威、高君雅二人察颜观色，准备选择适当时机将李渊拿下向隋炀帝邀功求赏。然而，李渊竟然对他们二人毫无防备，仍旧对他们推心置腹。
王威、高君雅决定先排挤掉长孙顺德等人，再把他们的兵权夺过来。于是就怂恿主管军法的官员说：“长孙顺德那几个都是逃避兵役、不事主君的大逆不道之人，这样的人怎么能够带兵？按照当今律令，应当将他们处死。”
但是，他们二人没有想到，这个官员是李渊的亲信，对李渊起兵反对朝廷极力赞同。听了他们的话，这个官员就故意说：“这几个人都是李将军的贵宾，若逮捕他们，恐怕会引起很大骚动。李将军一旦翻脸，你们两位也不好看。”二人本来就没有什么主见，又十分懦弱，听了这番话，就没有吱声。事后，这个官员立即将这个情况报告给了李渊，让李渊有所防备，但李渊并没有重视。
公元617年5月，太原久旱无雨，庄稼长势堪忧，为了防止秋后绝收，李渊决定去晋祠祈雨，希望老天爷能够普降甘霖润泽大地。王威与高君雅二人见有机可乘，就密谋趁求雨之机下手。他们准备在晋祠外事先埋伏好自己的人马，准备待李渊去后把他杀掉，然后夺取兵权。
不料，这一密谋被晋阳乡长刘世龙听见，他立即将这事告诉了李世民。李世民原本打算在祈雨仪式上正式举义造反，但是现在这王、高二人却出来捣乱，令李世民异常懊恼。李世民思虑再三，决定先下手为强。于是他便让刘文静拿了封绝密特急的文书去求见李渊，当时这种文件叫做“急变之书”。李世民在此封文书中道明原委，要求父亲李渊立即动手拿下王、高二人。
刘文静拿着紧急文书，就往李渊那里去了。刘文静赶到李渊帐下，却看见李渊和王威、高君雅正在大厅中一块谈事情。刘文静心想：这可如何是好，总不能当着他们两人的面说他们想谋害李将军吧。于是，刘文静灵机一动，将站在李渊身边的开阳府司马刘政会引到外面的花园中，并将此事以实相告。
刘政会一看事情紧急，立刻抽转身回到大厅之中，对李渊说：“李大人，这里有一封密函，请大人亲启。”李渊不明就里，竞然让王威他们取来当众阅读。
刘政会一见事情不妙，立刻说：“这封密函所报乃是副留守王威和高君雅之事，大人您一定要亲自过目。”王、高二人听了，不由害怕起来，唯恐谋害李渊一事暴露。但是，此时别无他法，只能强作镇定。李渊听了，这才接过密函来，细细阅读起来。
李渊看完后不觉心中大惊，他暗自想：总不能说他们想造我的反就把他们给杀了，我得找个让众人信服的理由才行。李渊急中生智，只见他轻轻地将密函合上，看了看周围诸位大将，厉声说：“王威、高君雅，你们这两个大逆不道之臣，你们竟然引突厥军队入关想造反？来人，将他们俩拿下！”
二人见事情已经败露，不由大呼：“李渊，你这个叛贼，居然想杀人灭口，皇上一定会派人把你杀了的。”刘文静、长孙顺德等当场将王威、高君雅逮捕，投到监狱中去了。这时，外面的伏兵在李世民指挥下封锁了城里所有道路，王威、高君雅的几个手下还企图反抗，也全被一一降伏。王、高二人顺利被擒后，李渊想想倒还真后怕。要不是儿子李世民和刘文静等及时采取行动，此时自己也许早就成了阶下囚，还谈什么揭竿而起、兴建霸业呢？
李渊立刻派刘文静出使突厥，请突厥首领始必可汗出兵与自己的起义军会合，共进长安。处理好与突厥的关系至关重要，这是必须解决的后顾之忧。李渊托刘文静带去了自己的亲笔书信，并令刘文静的随从带上了不少贵重的礼物，以表诚意。
李渊在信中说：隋炀帝昏庸无道，老百姓生活凄苦，我等顺应民意举义起兵讨伐昏君。他还说：“大汗若肯出兵相应，助我南行，幸勿侵暴百姓；若但欲和亲，坐享金帛，亦唯大汗是命。”
始必可汗见李渊这个与自己打了多年仗的老冤家愿意服软，不免暗暗得意；又有钱财可得，更加高兴。他连忙回信道：如果李大人这样的英才能够成为天子也是天下大幸，不管情况如何，我们突厥军队一定会鼎力相助，决不食言。
始必可汗随即派遣他的将领康鞘利带领两千骑兵到太原来，此外还专门献上駿马一千匹。李渊为刘文静非常出色而顺利地与突厥联盟感到非常高兴，他夸奖刘文静说：“要不是你的锦囊妙计，这件事怎么会办成呢？”
刘文静回来后没几天，突厥数万人果然侵犯太原，轻骑直达城下。李渊于是命人在太原城中散布谣言：这就是王威、高君雅招来的突厥军队，他们就是想借着突厥人的势力来造反。
太原军民对此深信不疑。于是，李渊下令将王威、高君雅斩首示众，然后向百姓宣布公开起兵。这时，李建成和李元吉也马不停蹄赶到了太原。
公元617年6月，李渊终于打着“举义兵，安隋室”的旗号，带领着自己的部队南下向长安进发。古老的中国土地上一场惊心动魄的政治与军事搏杀就这样发生了，决定其胜负的因素无疑将是军事实力、胆识与智谋，而此时的李渊是最具备这些因素的群雄之一。太原起兵是李渊父子迈向成功顶点的第一步，也是李渊将自己一生推向光辉顶点的开始。