河东城久未攻下，屈突通请命前去劝降，招抚守城的老部下尧君素。二人见面之后，不胜感慨，纷纷泣涕下泪。屈突通因已在世民面前夸下海口，便对尧君素说：“我军败局已定，唐王义旗所指。莫不响应。形势已到了这个地步，阁下宜早日归顺义师。”
尧君素说：“阁下为国家大臣，当今天子委托阁下镇守关中，代王以江山社稷托付于你，你为何要背叛国家，苟活着投降敌人？现在又来为敌做说客。阁下所乘战马，就是代王所赐，阁下有何面目再骑它啊！”
屈突通说：“唉，君素，我实在是力屈而降啊！”
君素说：“眼下我还没有力屈，阁下不必再多说！”
屈突通惭愧而返。
隋恭帝义宁二年正月，新年来临，长安城一派祥和的节日气氛。作为皇帝的杨侑，却极不情愿地诏命大丞相李渊可享有剑履上殿、赞拜不名的特权。
为显新年新气象，1月22日，李渊命世子李建成为左元帅、秦公世民为右元帅，率大军十余万人，攻打东都洛阳。
炀帝自至江都，荒淫日甚，曾对镜自照，对皇后萧氏说：“好头项，谁当斫之？”
由于奢靡无度，江都粮尽。随从侍卫，多为关中人，思乡心切，见炀帝朝不保夕，私下谋议叛乱。虎贲郎将司马德戡、虎贲郎将元礼、直阁裴虔通、将作少监宇文智及、虎牙郎将赵行枢谋杀炀帝，拥立许公宇文化及。
3月10日夜，司马德戡、裴虔通率叛军攻入成象殿，校尉令狐行达、马文举逼着炀帝退回寝宫。炀帝持白绢交给令狐行达，由其缢死。死后由萧后及宫人撤下漆床板，草草做了一副小棺材，和赵王一起埋在江都离宫西院琉珠堂。
至此，炀帝自弑父登基，荒淫残暴，将士离心，到被弑身亡，在位仅13年，就葬送了隋家大好江山。
李渊见天下更乱，隋朝确已失尽民心，便思谋着废帝自立。更有一班僚属，心中比他还要着急，启奏恭帝，加封李渊为唐王。
裴寂、刘文静、李世民等向李渊进言道：“如今隋主已亡，群雄割据，各怀异志。少帝年幼，难服众望。国不可一日无主，乞请唐王行唐、虞禅让故事，早日登基，以应天顺民。”
李渊推辞道：“我已为唐王，少主无罪，何忍逼其逊位？”
世民进一步劝说道：“如今隋运已终，群雄各自称王称霸，却让生灵涂炭。欲救民于水火，必须先发制人，早日登基。名正言顺，才能保住关中，号令天下。太原举义的文武将官也渴望建功立业，封妻荫子。父亲若再推辞，必将伤了众人的心。望父王不可失此良机！”
李渊也早已忍耐不得，只是以此检验部下是否真心拥立。听完世民这一席话，心中大喜，决意废掉少帝侑以自立。当即命令裴寂、刘文静、李世民等分头去筹备。
并命恭帝退居代王府第，改大兴殿为太极殿，命太常卿具备礼仪，选择吉日，定于甲子日（即5月20日）登基。
5月20日，唐王李渊即皇帝位于太极殿。命刑部尚书萧造告于南郊，大赦天下，改隋义宁二年为武德元年。
隋朝自此正式终结，唐王朝正式立国。
在夺取长安、登基称帝的过程中，李渊充分展示了一个创业者的宽广胸怀、战略眼光和韬晦之术。许多事例证明，他是一个善于驾驭臣下、识人爱才、从善如流的决策者。这既表现在大肆封官、收买人心上，也表现在他对待隋朝旧臣的宽容态度上，还表现在他协调长子与其他儿子的关系上。
从河东入关中，李建成和李世民的地位和作用可以说同等重要。李渊一方面处处树立李建成作为长子的威信，另一方面又充分给予次子世民全力施展自己政治、军事才干的机会。如任命他为尚书令，作为百官之首，除了太子，已是一人之下、万人之上，显见倚重程度。
在进攻长安城的战斗中，是李建成的部下雷永吉率先杀上城头，夺得头功。而在河东入关中的决策中，李世民的意见被李渊充分采纳。在平定渭北、西拒薛举、东讨洛阳的战斗中，李世民的部队以严明的军纪在民众中树立了良好的威信，同时也一次次显示了李世民天才的军事才干。而且，李世民每遇将相之才，必将其罗致到自己的门下，优礼有加。在这些方面，李建成确实有些逊色。但此时，兄弟二人几无嫌隙，可称李渊的左膀右臂。在军事上，李渊对世民则更倚重一些。
此时，兄弟二人各守本分，还无暇顾及内部的利益纷争，因为刚刚建立的唐王朝，其势力也仅局限在陇右、关中、河东一带，只是几十个称王称霸的割据政权中的一个。统一全国之路，还很艰难漫长。
唐武德四年（公元621年）5月10日，右元帅李世民和左元帅李元吉率领的大队唐军浩浩荡荡地开进了洛阳城。
唐军从洛阳城东面的会通苑入城后，沿着皇城和外城廓的天然分界线洛水西行，至天津桥折而向北，在皇城南门端门前驻马列队，黑压压地站满了端门前宽阔的横街。
沉重的端门拖着吱吱的响声缓缓地打开了。随后，王世充率太子、诸王、文武官员，身着素服，手持降幡，垂头丧气地出了端门，面对阵容整齐的唐军，魂飞魄散地跪倒在地。
面如土灰的王世充跪行到李世民的坐骑前，将降书举过头顶，低声道：“罪臣王世充率文武百官请降皇唐。”
那些跪伏在地的郑臣也跟着大呼：“谢大王！”
李世民令人收起降书，派开府李靖、左三统军程知节带兵士一千将王世充降众二千余人带到禁苑看管起来，准备择日回长安献俘，同时派快骑携带捷书去长安，向李渊报捷。
武德9年是唐朝历史上一个不同寻常的年份。
这年的夏天，关中的天热得很早，从5月末开始，从西往东的驿道上驰来络绎不绝的信使，他们从河西过来，身上还穿着厚厚的皮袄，加上走得急，热得简直无法承受，竟连着跑死了好几个人。这些信使向唐朝廷报告的是同一个内容的凶信：北方草原一部的数万骑兵在其首领郁设射可汗的率领下渡河入塞，一直打到大约位于今天甘肃武威境内的乌城。乌城是唐军防备北方草原民族的一个重镇，这个不祥的消息震动了京师，让李唐皇室成员们的心情变得和这天气一样焦躁不安起来。
从北魏末年开始，中国北方草原上居于统治地位的部族是阿史那氏，他们拥有强大的骑兵，和中原政权的关系时好时坏。隋文帝时，国力强盛，北患还不明显。炀帝继位后推行暴政，国力渐衰，阿史那部便迅速崛起，不断南下袭扰隋朝，到了大业十一年，隋炀帝北巡长城时，甚至被阿史那部首领始毕可汗围于雁门。其后，中原群雄并起，争夺天下，各派力量中，有不少都曾暗中结纳阿史那氏，希望得到他们的支持。
李渊就是其中的一个，从太原起兵时，他就派心腹刘文静秘密去见始毕可汗，向其纳贡称臣。李渊攻取关中时，始毕可汗派兵相助，双方还暗中达成协议：亡隋后人众土地归李氏，子女玉帛归阿史那氏。但是，双方的蜜月没有持续多长时间，武德初年，阿史那氏就曾在刘武周的勾结下攻占李渊的发迹之地太原，武德五年8月，继承始毕可汗汗位的颉利可汗又统兵南下一直打到汾、潞诸州，掳走民众五千余口，从此无时不侵扰唐境。
为了避开阿史那氏的侵扰，李渊和李建成、李元吉都曾主张把都城迁往樊、邓，最后因为当时还掌着唐朝大半兵权的李世民的反对而作罢。到了武德八年，颉利亲率劲骑十数万南下，在饱掠朔州后又进犯太原，唐将张瑾与之战于太谷，大败，仅以身免，郓州都督张德战死，而监军的唐中书侍郎温彦博也被俘。中书侍郎的地位很高，居然被敌生擒，足见这一仗打得狼狈。太谷之役是唐与颉利历年作战中遭受的最大一次惨败，战败后，李渊不得不将唐将中几个有名的上将如李靖、李世积等都派往东北方向的灵州、并州一线沿长城布防。
东北方向的威胁还没有解除，西北又传来警讯，这着实给李渊出了一道难题。李靖、李世积的人马要用来对付颉利和突利，不能挪动，那么，他该派谁去对付郁设射呢？派李世民去，以他的韬略，自然是可以对付得了郁设射的。问题是郁设射带着数万精锐，光秦府的兵马肯定不够，这一来就不得不再调拨其他军队交给李世民，虎符势必重回到李世民手中，这当然是李渊不愿意看到的。可如果派李建成统兵前去，他又实在不放心。李建成毕竟没打过什么恶仗，虽然平过刘黑闼，但凭的不是排兵布阵，而是攻心之术，若真刀真枪地对阵，他显然是比不过张瑾的，让他去难保不会重蹈太谷大败的覆辙。
想到这一点，李渊寝食不安，连着几次召集重臣们商议此事，还把唐军中的一些将领从各地召来问计，其中包括灵州都督李靖，还有行军总管李世积等人。商量了三天，却没有任何结果，所有人心里都明白，最合适的人选就是李世民，但没有一个人提出来，因为大家都知道，皇上他不想用李世民。李建成有心挂这个帅，可是，张瑾之败也让他对阿史那部之兵威感到胆寒，他几番犹豫，差点想开口请战，到最后还是没有在父亲面前说出声来。到了第三天的夜里，乌城方面连着发来了三道告急文书，李建成安插在中书省里的亲信在向皇帝呈报此事的同时，也把消息传到了东宫，李建成再也沉不住气了。
这几年李渊有意扶持着李建成，就连武德七年发生了曾经当过东宫护军的庆州都督杨文干谋逆一案，李渊也没有放弃对他的重用，这使得李建成比从前有更多的机会接近自己的父亲。越是接近，李建成就越能看透这位大唐开国皇帝的心思，他已经琢磨出来了，父亲现在的心态是想解乌城之围，却又不愿把虎符还给李世民。可是，李建成更明白，这种拖延毕竟是有限度的。乌城一失，郁射设的大军就有可能顺着河西走廊南下，威逼长安。没有人会愿意让自己的心脏暴露在别人的刀剑下，到了最后关头，李渊再不情愿也会做出妥协的，连着到来的这三道文书事实上已经在宣告这最后关头的来临。他李建成必须马上想出一个破解之道，不然，虎符必然会重新回到秦府去！这个时候，李建成又想起了魏征。
三年前，魏征的谋略让李建成取得了人生中惟一一次可以载入史册的辉煌战绩，从山东班师回长安后，东宫势力在朝廷里的实际地位扶摇直上，李建成第一次成了一个名副其实的太子，朝臣们开始看好他的行情，许多见风使舵的人都投到他的帐下，曾经冷清的东宫一时门庭若市。这时候，魏征却渐渐地从李建成的视线里消失了。
这天晚间，魏征正在东官司经局里的一间阁楼上满面灰尘地翻着故纸堆，孙达提着一盏风灯气喘吁吁地走过来，嘴里大声喊着：“魏大人，魏大人！”魏征从书堆里伸出头来说道：“我在这儿呢，你有事儿吗？”孙达大声道：“快跟我走，太子殿下急着见你呢。”魏征看看自己的一身灰尘，对孙达道：“你稍候，我先回去换身衣裳吧！”孙达着急地说：“不用了，太子殿下急着见你呢！”说着上前拽着魏征就走，他是个习武的人，步子迈得比常人要大，魏征跟在后头，差不多是一路小跑，嘴里央告道：“孙将军，你慢些，我都跟不上了。”孙达却一步也没有停，因为他的主子已经发了三遍火了。
到了东宫书房，李建成正候在门口，一见魏征，像见了救星一般，迎上前一把拉住魏征的手：“玄成，这些日子你干什么去了，也不来见我，快，快进屋说话。”进了书房，魏征才想起了什么，撩起袍角要跪，口中说道：“你看我，被孙达拽着跑得喘不过气来，都忘了给殿下行礼请安了。”李建成一把将他摁在团凳上坐定，口中谦和地说到：“你我是什么交情，何必来这些俗礼，你坐下就是了。”
魏征只得坐下，抬头看看李建成问道：“殿下这么晚把臣召来，是不是有什么要紧事？”李建成看一眼魏征：“是啊，遇到为难的事，我就想起了你这个大智囊呀！”说着他走到书案边伸手抓起那枚虎符，将它举到魏征面前，叹着气说：“三年前你费尽心机把这枚虎符从秦王手中夺过来，可现在，只怕又要给人家送回去喽！”
魏征脸色一变，忙问出了什么事儿。李建成遂将乌城危急的情况向魏征陈述了一番，又将自己的忧虑和盘托出。在魏征面前，李建成倒也直率，他问魏征是否能想出个法子把这虎符留在东宫。魏征略一思忖，开言道：“依着眼下的形势，把虎符留在东宫只怕不易，但是，如果想阻挡秦府重新夺得这枚虎符，臣倒是可以给殿下出个主意。”李建成一愣，这个回答倒真是出乎他的意料。