李渊早已打消了更换太子的念头，但李建成还是不放心。他为了巩固自己太子的地位，接受谋臣魏征、王硅的建议，于公元622年11月，率兵讨伐刘黑闼。在此之前，刘黑闼的主力已被李世民摧毁，所以在公元623年初，李建成顺利地平定了刘黑闼的残部。但这样的“军功”还是远不及李世民的功业，李建成的心病仍未除去。
一次，李世民曾跟随李渊到李元吉的住处走访，李元吉认为这是杀李世民的好时机，便让他的卫士宇文宝埋伏在卧室中，伺机行刺李世民。李建成害怕事情办不成，考虑到父亲李渊也在，不敢轻易下手，派人赶紧制止说：“陛下和他在一起，弄不好惊动陛下，怪罪下来，你我怎么担当得起呢？我们不如先饶他一回，另谋良机。”
李建成认为要有效地对抗李世民，就必须有一支完全听命于自己的强大的武装力量。因此李建成没有请示李渊，抓紧秣马厉兵，擅自从长安和外地招募了两千余名身强力壮、武艺精湛的勇士，充任东宫卫士，号称“长林兵”。又秘密派人到幽州，要燕王李艺挑选三百名精锐骑兵到长安，供他使用。
李世民得知此情，立即派人向李渊告发，说李建成私自招兵，图谋不轨。李渊召见李建成，严厉地批评了他，下令解散“长林兵”。并把他派往幽州招兵买马的人判了刑，流放到边远地区。李建成表面上承认错误，表示悔改，暗中却继续做准备，等待时机。
李渊嫌夏天长安太热，便在渭北的宜君县建了一座行宫，叫仁智宫，每年夏天都要去那里避暑。公元624年6月，李渊离开长安要到仁智宫，他命令李世民、李元吉跟随，命李建成留守长安处理日常事务。李建成认为这是一个除掉李世民的绝佳机会，于是就和李元吉密谋。李建成派使者通知自己的亲信杨文幹（gan）起兵阻杀李世民。
6月间，正在高祖整顿纲纪的时候，忽然庆州（今甘肃庆阳）传来重大变故：都督杨文斡造反，全州已经被他占领。
这里说明一下，杨文幹曾经守卫东宫，与李建成很是亲密。李建成常常与杨文斡密谋要除掉李世民，李元吉也曾参与谋划。杨文斡对李建成说：“要杀李世民很简单，不过举手之劳，何必策划来策划去呢？”
有一次，李世民、李元吉陪高祖到仁智宫，当时李建成也在。李建成悄悄对李元吉说：“今天父皇出行，我们可以见机行事。”
李元吉忙问有什么好主意。李建成附在元吉耳边，如此这般说了一番。李元吉听完立即面露喜色道：“办法高明！”然后李建成离开，并派人偷运武器盔甲送给杨文斡，命令他马上起兵，里外相应。派去的人走到半路上，因为担心事情泄露，犹豫半天，还是直接向高祖报告了。高祖一听很生气，马上传令杨文斡进京面见。李元吉也听说了此事，急忙让人叮嘱杨文幹，千万不要来京。
杨文幹得到元吉情报后，便说：“一不做，二不休，我干脆造反算了。”于是带兵从庆州到了宁州（今甘肃宁县）。这时高祖已经感到了事态严重，亲自写下诏书，让李建成前去见他。李建成非常害怕，根本不敢露面。后来，身边人劝李建成最好还是向父王谢罪。
李建成左思右想，别无他法，只好轻车简从前去见高祖。高祖见到李建成后，将其痛骂一通，又令左右人员把他关了起来。
这时，因杨文斡兵至宁州，宁州的警报如雪片般飞来，先说被包围了，迅即又说城已失陷。在这危急时刻，高祖忙把李世民叫来问他有何计策。
李世民答道：“杨文斡这个逆臣，有什么可怕的？首先，地方军队可以讨伐他；如果一下子不能灭掉他，派一员主将前去，马上就可搞定。”
高祖说：“事关建成，他自然不能去。不如由你出马，等你平乱回来，我立你为太子，将李建成贬为蜀王。”李世民奉命而去。而李元吉则在宫中贿赂高祖身边的妃子，为李建成斡旋开罪。
李世民率领的部队才走到宁州附近，那杨文斡的部下已是十分害怕，闻风而动，杀了杨文幹，宣布投降。等李世民回到长安，高祖却绝口不提更换太子一事。李世民知道其中有变，只好付诸一笑。
杨文斡事件后，李建成再不敢轻易说李世民的坏话，但仍在暗中和李世民作对。李世民赞成的事，他总要反对；李世民反对的事，他又总要赞成。表面上兄弟之间没有大的争斗，但骨子里的裂痕却越来越深了。
公元624年7月，李渊到城南打猎练兵，李建成、李世民、李元吉三兄弟同去。李渊命令三个儿子比赛跑马射箭的武艺。李建成有一匹马，是从突厥买来的，肥壮而又高大，很不驯服，要么躺倒不跑，甚至干脆将骑乘的人摔下来。李建成假惺惺地把它送给李世民，说：“这是一匹千里马，一跃而起，能跳过几丈深涧，二弟既然善于骑射，不妨试骑一下。”
李世民不知是计，翻身上马，向一只鹿追去。谁知才骑上去，马儿就卧地不跑了。李世民跃下马，站在数步之外，等它起来了，又翻身骑了上去，但马儿立刻又躺倒不跑了。这样来回几次，惹得兴致勃勃的李渊很不高兴。李世民对身边的人说：“我兄弟想用这招让我父亲迁怒于我，再趁机除掉我。但死生由命，这哪里伤得了我呢？”
这话传到李建成耳朵里，他又串通李渊的宠妃攻击李世民说：“秦王称自己受天命，正要当天下之主，不会随便死掉的！”李渊大怒，立即先把李建成、李元吉召来，问李世民的话可是真的。听了一面之词后，李渊又把李世民召来，怒斥道：“天子自有天命，不是谁用智谋和武力就可以得到的，你想当天子，也太急了些吧！”
李世民听了，诚惶诚恐，脱下帽子，在地下叩着响头，连忙申辩道：“儿臣确实没有说过这样的话，请父王派朝廷监察大臣来详核此事。”但李渊听信谗言，对李世民极不信任，李世民有口难辩。
正在情急之中，忽然有快马来报，说是突厥军队又开始大举入侵。李渊心想，最好派李世民前去防守，于是，对这件以下犯上的事情也就暂时不再追究了。李世民欣然带兵前往，他也想借这个机会，立个战功，缓和一下与父亲的紧张关系。
李世民走后，李建成、李元吉又对李渊说：“李世民自恃立下点战功就不可一世、傲视群雄，全然不把父王和我们看在眼里。他手下的那些人也一个个如狼似虎、无信无义。今天父王对他恶语相向，他一定会怀恨在心。父王如果不及早提防，只怕日后会有意外的事情发生呢！”
李建成手下的亲信也随声附和，劝李渊早点除掉李世民。李渊听了，心中’自然有一丝不快，李世民毕竟是自己的亲生儿子，也是自己的爱将。但是，在皇位和权力面前，父子亲情似乎也就没有那么浓烈了。他开始考虑如何消除隐患的问题。