长史裴寂进言道：“西南方的劲敌宋老生、屈突通连兵拒险，首尾呼应，仓促之间，难以攻下；东南方瓦岗寨口称结盟，而居心叵测；北方的突厥，贪得无厌，言而无信，惟利是图；刘武周就是突厥的走狗。太原作为一方的大都会，又是我军的根据地，而且义军家属全在那里。如今义军三面受险，不如返回太原，先守护根本，再图进举。”
李世民逐条反驳道：“如今正值秋熟，禾稼遍野，还用担心缺乏粮草？宋老生其人为将，轻躁少谋，只须一战，便可生擒。李密只知攻取粮仓，鼠目寸光，哪有长远计划！刘武周表面依附突厥，而实质互相猜忌，并无信任。刘武周就算想从南边的太原谋到好处，岂能忘记自己一旦离开老巢马邑，马邑就会落入突厥之口。我等兴举义兵的本意，为的就是奋不顾身，以救苍生，解民倒悬。当务之急，是首先攻取长安，拔了隋的旗帜，以号令天下！
“眼下刚碰到一点气候带来的困难，还未和宋老生那股小敌遭遇上，便突然间北撤，我担心赴义的将士们，会在顷刻之间解体。回守太原一城之地，只能是为贼人守城，何能自全？”
李建成也认为世民说得有理，力劝李渊且勿北返。然而，裴寂所称义军家属尽在太原的话，打动了李渊。李渊最关心的，就是家眷安危，因而坚持不从世民之论，下令大军即日出发北返。
李世民听到大军已经北返的消息，再次入大将军府劝谏李渊。
正赶上傍晚时分，李渊已经就寝，不见任何人。世民眼看着难以见到父亲，便在府门外放声大哭。哭声传入李渊寝帐中，将其惊醒。李渊连忙召李世民进帐，询问因何号哭。
世民沉痛地说：“如今大军以起义的名义而发，前进攻战，就能克敌；退回拒守，则会星散。将士散逃于前，敌兵乘势追击于后，我等死亡之日，就在眼前。为儿怎能不悲！”
李渊一听军心将散，敌兵必追，顿时大悟，焦急地对世民说道：“可是如今大军已经朝北返回，这如何是好？”
世民胸有成竹地说：“为儿所掌的右军，依然严阵以待，未有一兵一卒北返。兄长所辖左军虽已上路，但我估计向北走不了多远，请让为儿亲自去追回。”
李渊这才展开笑颜道：“我们李家的成败，都系在你身上。那就由你去追吧！”
李世民这才连夜与李建成分道追上左路军，令他们返回原地。
7月28日，沈叔安也从太原押运粮草赶到，解了大军之急。
天公有意作美，淅淅沥沥的阴雨终于停止了。8月1日，晴空万里，又是艳阳高照。次日，李渊命大军曝晒铠甲器械及行装。
8月3日清晨，李渊令全军饱餐一顿后，从贾胡堡东南方向，沿山脚小路，插向霍邑城。不到一个时辰，已于霍邑城下约十里处扎营。李渊担心宋老生高挂免战牌坚守不出。李世民说：“宋老生有勇无谋，我们如以轻骑引诱，他没有不出战的道理。如果他坚守不出，我令军士混入城中，散布谣言，说他坚守城池为的是与我里应外合，献出城池。他担心监军向长安上奏，又怎敢不出战！”
李渊说：“你判断很有道理，宋老生没有在我军困在贾胡堡时北上攻击我们，我就知道他没有大的作为。”说完，便与世民等率数百骑兵，先到霍邑城东门数里外等待步兵。
李世民、李建成各率十几名随从骑兵，来到东城门外，见城上守军高挂吊桥，张弓搭箭，严守城门。
李世民举鞭指着城上守军，说道：“义军在此，已将这座孤城团团包围。尔等若开城受降，可免一死。如若不然，待我攻破城池，活捉宋老生，将其剖腹取心，为我健儿作佐酒料。”同时，又令随行骑兵，肆意谩骂宋老生。
守军将佐连忙禀告宋老生。不一会儿，只见吊桥慢慢放下，须臾间，从城中冲出一员大将，提刀飞马，追赶李世民等。身后旗号上，写着“宋”字。两万步骑兵，络绎相随。同时，从南门杀出一万余人马，与东门老生主力遥相呼应，向李渊大军合围，包抄过去。
李渊见宋老生兵分两路出城，命殷开山速去召来后军。后军很快到来，李渊令大军饱餐后，迎战隋军。
李世民说：“敌军匆匆出战，还未立住阵脚。我军正可一鼓作气，攻其不备。大好战机，不可丧失。”
李渊觉得有理，李世民便向全军将士朗声说道：“老生鼠辈，终于出城了！健儿们，立功的时机到了！生擒宋老生，灭此朝食！”
攻击令一发，李渊、李建成率左军列阵于城东门外，李世民、柴绍率右军列阵于城南。宋老生纵马直冲李渊阵脚。李渊猝不及防，阵脚大乱。李建成惊慌之际，跌下马来。宋老生乘势掩杀，李渊、李建成左军兵败退却，眼看战局对义军不利。
正在此危急关头，李世民派柴绍从斜刺里杀向宋老生军阵腰部，隋军攻击李渊的势力才稍减，但很快又将柴绍包围了起来。李世民看城东乱做一团，“柴”字旗号被围在垓心，便与军头段忠幺从南原率兵驰下，从后背攻击宋老生的战阵。李世民手挥双刀，一马当先，连杀数十名隋军骑兵小校。双刀杀得刀刃全缺，敌兵的鲜血浸湿了双袖。李世民甩掉袖上鲜血，换刀再战。
宋老生见后军乱作一团，连忙撇下李渊和柴绍，回救后军。正在此时，李世民大呼一声：“隋军将士，宋老生已被生擒，尔等还不赶快投降！”李渊左军一听此言，兵势大振。隋兵一听主将被擒，一时没了主张，纷纷曳枪倒戈，逃向城中。
李世民挥军，截住宋老生厮杀。
宋老生无心恋战，急忙向城中退却。不料李渊率兵已先杀到城门口，城中守军连忙拉起吊桥。苦了宋老生这一支孤军，被李世民和李渊堵在中间，进退无路。宋老生慌忙之间，溜下马来，跳下护城河，被刘弘基逮个正着，挥刀将其砍为两段。没来得及逃入城中的隋军，不降即死，死尸绵延数里。李渊命大军打扫完战场后，吃饭休整，一面准备攻城。
黄昏时分，李渊命大军强行攻城。当时没有攻城的矢石，便令敢死队登上城楼，与敌兵展开肉搏战。经过一番殊死争夺，义军终于打开城门。大军一拥而入，城内军民稍事抵抗后，举城而降。
8月4日，李渊大宴攻下霍邑的将士，论功行赏。
军吏们认为奴仆出身而立有战功者，所获奖赏，不该与良家子弟同列，并请示李渊。
李渊说：“战场杀敌，不分贵贱。论功之际，不能因此而有所差别，应该一律按照战功的大小，作为授勋的标准。”
奖赏完毕，李渊又接见霍邑城中有名望的长者和归顺义军的官吏，慰劳、赏赐的办法一如攻下西河郡的先例；选择霍邑子弟中勇健者从军；家在关中的归降军士，如愿归乡者，授予五品散官，发放路费，准其归乡。
有谋士向李渊进谏说，如此授官，太多太滥。
李渊说道：“隋朝皇上吝惜赏赐，有功不赏，这就是其失掉人心的缘故。我岂能再效法它！况且收降这么多人马，封他们以散官，不是更胜于用兵攻城掠地么？”
霍邑军民，闻此消息，皆大欢喜，无不踊跃投军。义军因此声势更壮。
霍邑之战，是李渊起兵以来，真正意义上第一次与隋军主力交锋。此役的胜利，对义军决策层意图的实施、义军士气的树立、战斗力的培育，都是一次严峻的考验。在这场具有决定意义的战斗中，李世民身先士卒，转败为胜，是决定战役的关键人物。
这一战役，也强化着李世民在李渊义军中军事战略决策人的地位。
三、攻陷长安
李渊刚起兵时，长安留守阴世师等挖掉他的祖坟，毁了他的家庙。等攻入长安时，卫文升已死，李渊遂于11月11日，将阴世师、骨仪等押赴刑场，历数其抗拒义军、贪婪暴虐、残害百姓的罪状后，斩首示众。
为了不致引起已降的隋朝官员的惊恐，李渊只杀了十几个罪大恶极者，其余不咎既往。
马邑郡丞李靖，向来与李渊不合。李渊留守太原防备突厥时，李靖就预见到李渊必将起兵，于是将自己锁在囚车上，从马邑前往江都，向炀帝告发。走到长安时，因道路被阻，留在了长安。
李渊攻克长安后，搜捕到李靖，准备将其斩首。临刑前，李靖大喊冤枉：“唐公兴举义师，本是为了替天行道，扫除暴乱。怎能不顾大业，仅因为个人恩怨，而枉杀志士呢？”
李渊说道：“我佩服你的胆识，可以不因个人恩怨而杀你。可是你自锁作囚，赴江东告发本座。这难道是为天下大义吗？”说完，便命刀斧手行刑。
忽听得有人连喊：“刀下留人！”待来人走到近前，却是次子世民。他未容喘过气，便向父亲求情道：“父亲可记得韩擒虎之言？当今天下，可谈兵略者，惟李靖一人而已。如今正是用人之际，父亲何不留他将功补过，亦落得不计嫌隙的美名！”
李渊这才说道：“既是我儿求情，暂且饶你一死，你可好生竭忠尽智。若再桀骜不驯，定斩不饶！”
李世民令李靖谢过父亲，引入自己府第，待若上宾，置为幕僚。原来，世民在太原时，曾与李靖有一面之交，知其有将帅之才，因久未遇到明主，自囚获罪。世民知道后，才极力相救。此后，二人常彻夜晤谈，颇有知音之赏。
11月15日，李渊主持仪式，迎立代王侑，在天兴殿即皇帝位，遥尊炀帝为太上皇。大赦天下，改元义宁，即以炀帝大业十三年为义宁元年。
11月17日，李渊从长乐宫移居长安城里。
新皇帝以李渊为大丞相，假黄钺，使持节，都督内外诸军事。以琥德殿为丞相府，改教称令，每日于天兴殿东的虔征门处理军国政事。
11月19日，新皇帝下诏，命朝中军国事务，文武官员任免、赏罚，宪章设立，无论大小巨细，均归相府全权处置。惟有祭祀天地、宗庙，可奏知天子。这新天子杨侑，年仅13岁，还是个不更世事的少年，纯粹是李渊掌上的玩物。所以，一切也不得不由丞相李渊说了算。
李渊既为名正言顺的丞相，便广置丞相府官员：以裴寂为长史，刘文静为司马。何潘仁派李纲谒见李渊，李渊颇为赏识，留他为丞相府司录，专掌选举事。又以前考功郎中窦威为司录参军，专定礼仪。
11月22日，封李建成为唐国世子，以李世民为京兆尹、秦公，李元吉为齐公。
李渊既已完全控制京城长安，便开始着手解除长安四周的各路军阀的威胁。
建都天水的西秦皇帝薛举，派其子薛仁杲攻打扶风郡，举兵三十万谋攻长安。听说李渊已定长安，自为丞相，便专意围攻扶风郡。
李世民请命，率部征讨薛举。
李渊又命姜謇、窦轨出兵，安抚陇右；命侄儿、左光禄大夫李孝恭招慰秦岭以南，府户曹张道源招慰潼关以东地区，配合李世民的军事行动。
12月17日，李世民率部攻击围困扶风的薛仁杲。在渭水之滨，将薛仁杲杀得大败，斩首数千级，一直追至陇山的垅坻。薛仁杲逃入天水城，闭门不出。薛举见李世民兵势正盛，担心他越过陇阪，直取天水，便准备投降李世民。后经大臣郝瑗劝阻，方才作罢。
李世民解了扶风之围，大守窦琎开城迎接世民。
12月19日，平凉留守张隆率部归顺李世民。
12月21日，河池太守萧瑀以及汉阳郡守官相继归降李世民。李世民上奏，封窦琎、萧瑀为礼部尚书、宋国公。
而其他几路招抚大使，则不如李世民那么幸运。姜謇、窦轨进兵至长道县，即被薛举的兵马打得大败而还。通议大夫刘世让赴千阳，招抚千阳贼帅唐弼余党，遇上薛举，战败被俘。
李渊入长安后，派兵保护屈突通家属，颇为周到。此时，遂派屈突通家僮赴潼关，劝说其归降。屈突通立即将家僮斩首。当听说长安已为李渊平定，家属被李渊当作人质，屈氏便命桑显和镇守潼关，自己率兵东去，将往洛阳。等他刚一出城，桑显和即以潼关城归降刘文静。
文静派副将窦琮、段志玄与桑显和率精锐追赶。追到稠桑，屈突通列阵自守，与义军对垒。窦琮派屈突通之子屈寿前去劝说，通大骂道：“从前我与你是父子，今天我和你是敌人。看箭！”说完，便命部下用箭射他。
显和急忙向屈突通部下大呼道：“如今京城已被丞相平定，你们都是关中人，朝东去，想到哪里？”这些关中子弟一听，纷纷放下武器，向义军投诚。
屈突通见大势已去，便下马向东南跪拜而哭道：“我主明鉴，臣屈突通兵败力屈，实在不愿有负陛下，此心天地可鉴！”军士将其拘禁起来，刘文静命令将他送往长安。
李渊深知屈突通乃忠诚耿直之臣，任命其为兵部尚书、蒋国公。李世民爱其勇猛，要到麾下，李渊遂又命他兼秦公行军元帅府长史。