随即，李渊命记室温大雅再回一书说：“我虽庸劣，幸承祖先余绪，出为八使，入典六屯。国家倾覆而不扶，将为时贤责备，所以大会义兵，和亲北狄，共匡天下，志在尊隋。天生兆民，必有主宰，当今可做天下主宰者，舍密公还能有谁！老夫已过知命之年，无心力图天下主宰。衷心拥戴贤弟，攀鳞附翼，望弟早膺图篆，以安宁天下百姓！如能以我为李氏同姓，宽容接纳再封于唐，有此殊荣足矣。至于殪商辛于牧野，执子婴于咸阳，我无此能力气魄。汾晋左右，尚须安固，盟津之会，无暇顾之。”
李密收到这封书信后高兴万分，逐一示左右将领，说：“唐公都推我做盟主了，不愁天下不定！”
此后双方信使往来不断。李渊西进关中之前，还办了一件大事：派刘文静出使突厥，面见始毕可汗，请他出兵相助，攻取长安。李渊此举有他一定的道理：一是自己的力量毕竟还是薄弱，如遇大敌，难以抵挡，有了突厥帮助就会强大多了；二来如果突厥出兵，就与自己成为同路，算是入了伙。若不然，自己率军西进，突厥瞅准空子领兵南犯，必将把自己推入首尾难顾的尴尬境地。
刘文静临行前，李渊再三叮嘱，对始毕可汗一定要许以厚利，反复重申：如可汗相助攻下长安，民众土地归唐公，金玉缯帛归突厥。
李渊率军西进，一路上广发文告，向沿途郡县官民说明，此去关中是为尊立代王为帝，并别无他图。
走到当年与甄翟儿大战的雀鼠谷，适遇大雨连绵，山道泥泞，不得前进，只好驻军贾胡堡，此地距宋老生屯守的霍邑只有五十多里。
雨幕时疏时密，却是终日不停。军中的粮食已不多了，刘文静至今杳无音信。李渊整天愁眉不展。这时又听风传，突厥要乘虚攻袭晋阳。李渊急了，连忙召集将佐，商议着要撤回太原。
裴寂表示赞同：“宋老生、屈突通连兵据险，恐怕不易很快攻破。李密口说联合，但此人奸谋难算。突厥一向言而无信，惟利是图，居心叵测。太原是一方都会，我军将士的家眷都在那里，不如先救根本，再图后举。”李世民却不以为然，说：“现在已近秋季，稼禾遍野，不必为无粮忧愁。宋老生虽然据险霍邑，但他生性轻躁，无勇无谋。李密顾恋仓粟，不会远离东京西进。至于突厥欲袭晋阳一说，文静公还没回来，不知实情，所以不能偏信谣传。归到根本，我们既然举兴大义，奋不顾身以救苍生，就当先入长安，号令天下。如果退还太原，据守一城之地，岂不与盗贼流寇一样了吗？”
李渊的长子李建成也附和说：“二弟说的有理，不能撤回太原。”
可是李渊已下定北还的决心，不再听两个儿子劝说，催促左右两军立即准备，相继出发，返回晋阳。
入夜，李世民与大哥李建成聚在一起，越觉得撤回太原大事将定败无疑。情急之下，李世民决意进帐再谏。
李渊刚刚睡下，忽然听到帐外有人放声恸哭，再细听，竟是李世民。李渊赶紧召李世民进帐，问他：
“出了什么事，值得你深更半夜的号啕痛哭？”李世民擦擦眼角的泪水，说：“父亲，军中兵勇都是为义举大事而来，所以才有今日的士气。听说父亲下令北还，许多人都暗中计议要解甲而去。如今的情势是进战则胜，退还则散。此处距霍邑仅五十里，万一在回太原途中士卒四散，宋老生必乘机追讨，那我们只有死路一条了。想想我们兴师动众，将要落得这样的悲惨下场，我怎么能不悲恸呢！”
李渊一听，才猛然醒悟，后悔不迭地说：“哎呀，我怎么就没想到这一层呢！可是，军队已经出发，这可怎么办？”
李世民说：“右军严阵以待，还没有走。左军虽走，这种天气里也不会去得太远，请父亲下令让我去追他们回来。”
李渊笑笑说：“还用下令么？我看明白了，此次大事成败都在于你。你看怎么办好就怎么办吧。”
李世民转身出帐，与李建成一起，连夜催马向北追去。
天蒙蒙亮时，军门前忽然来了一位白胡子老头，对守门的军士说：“我是霍山神派来的使者，请转告唐公：三天后雨止，此出霍邑，不再有阻碍。”话音未落，老头便倏然不见了。
军士告诉了李渊，李渊说：“岂不是山神也来助我？”三天之后，雨果然停了，当空艳阳高照。李渊即命士兵曝晒铠仗行装，然后沿山间小道向霍邑进发。霍邑守将宋老生听说李渊的兵马已到了城下，立即登城望去。只见仅有李世民、李建成兄弟二人领着几十名骑兵，手持马鞭对着城墙指指划划，像是在商议着如何围城。宋老生顿时光冒三丈，跺着脚骂道：“黄口小儿，你也欺人太甚，竟不把宋将军放在眼里！”随即领三万兵马，从东门、南门分道而出。宋老生果然被引出城来了。李渊与李建成在城东布阵，李世民在城南布阵，迎击宋老生的兵马。李渊这边接战以后，渐渐支持不住，李世民从南原引兵驰下，从敌军背后猛攻，杀入宋老生军阵。李世民纵马挥刀，砍倒了数十名敌兵，两把刀都砍缺了，鲜血湿透了衣袖，依然身先士卒，冲锋陷阵。这时候李渊也缓过劲来，挥师从正面进攻。李渊令士兵一边冲杀，一边大喊：
“已捉住宋老生了！”“宋老生被我们捉住了！”
宋老生的部下听到喊声，顿时大乱，纷纷逃命，任凭宋老生怎样气急败坏地大叫，也无济于事，只好随士兵逃向城内，被李世民追上，一刀砍下马来。
到傍晚时分，李渊的将士已完全攻占了霍邑城。太原至关中的第一道大门被打开了！
李渊命军队在霍邑休整十天再向西进。这时候，刘文静回来了。他带来了五百名突厥士兵和两千匹战马。李渊高兴得嘴都合不拢了，对刘文静说：
“马多可壮声威，我们缺的正是这个。文静公立了大功了！”
刘文静说：“霍邑门户已开，下一步我们就可以从龙门渡黄河，攻取永丰仓，关中即在我们掌握之中了！”
李渊点头说：“我也正想依此计而行！”据守河东的左武侯大将军屈突通，听说李渊要从龙门西渡黄河，知道大事不好。河东城是通向长安的咽喉，按原先的设想，李渊即便破了霍邑城，也必将直取河东，因为从这里西过黄河有蒲津桥可通，比从任何一地用船渡河都快捷得多。所以屈突通屯兵河东，而且没有把蒲津桥毁掉，想以此为诱饵，引李渊前来攻城。
不料形势有变，如果李渊真的从龙门过了黄河，攻下永丰仓，再往长安就畅通无阻了，想去拦截也来不及。好在河东去龙门不足一百五十里，李渊的前锋刚到龙门，全部集结尚需时日，屈突通决定主动出击，拖住李渊。
屈突通派出两千骁果士卒夜袭龙门，把立足未稳的李渊几千先锋杀得落花流水，旋即撤回。这一手让李渊始料未及。这时麾下将士已近十万，从龙门用船渡河也不是一天两天可以完成，如果在渡河之时再遭袭击可就惨了。盛怒之下，李渊率部直扑河东。
河东城墙高峻，易守难攻。屈突通关城不出，李渊猛攻几天都未得手。再转向西进，又恐屈突通从背后袭扰，真是进退两难，被粘在河东城下了。
见李渊犹豫不决的样子，裴寂就劝他：“屈突通拥强兵固守坚城，此时我军不宜舍之而去。如果攻长安不克，退兵时必遭河东兵力堵截，腹背受敌，是用兵之危道。只有先攻下河东，然后才可以西进。因为长安将屈突通视为援军，只要河东陷落，长安或许可不攻自破。”李世民却不以为然，说：“我与寂公之见恰恰相反，常言说，兵贵神速。我军当以屡胜之威，抚归顺之众，长驱西行，长安守军望风震骇，智不及谋，勇不及断，夺取长安如秋风扫落叶。如滞留河东城下，长安之兵就可以从容准备抵抗，到时候我军再攻长安必然耗费时日。若久攻不下，众心离散，大事将功亏一篑。”
李渊觉得他们二人说的都有道理，权衡再三，决定取中。留下一支部将继续包围河东，自己率大部西取长安。
李渊率部渡过黄河，进至朝邑，驻扎在长春宫。三辅豪杰与关中士民成群结队前来归附，一天竟有数千人。自秦汉以后，就称京兆尹、左冯翊、右抚风三个相当于郡的政区为三辅，因所辖皆京畿之地，在关中举足重轻。三辅豪杰纷纷归附，足见西取长安是人所向往之了。再向西行，一路有征无战，京兆诸县都派使者向李渊请降。
京师长安，已经在李渊军包围之中。十月，李渊大军兵临城下，在长安城东春明门西北扎下大营。诸军汇集长安，共有二十万之众，李渊命各军自筑营垒，不准人村庄侵扰百姓。又几次派使者至长安城下，传书长安内史卫文升，申明尊隋之意，请他放开城门。卫文升置之不理。
李渊无奈，遂下令攻城，并严明军纪：“不得侵犯七庙宗室，违者诛灭三族！”此时的长安，实际早成了一座空城。守军本来就不多，又见李渊大兵压境，军心涣散，士卒无心抵抗。仅三天工夫，长安城破，李渊大军浩浩荡荡，长驱直入。长安内史卫文升听说李渊进了京师，一句话没说出来，竟活活气死了。
十三岁的代王杨侑住在东宫，左右侍卫听到李渊军进城的消息早已逃散，只有侍读姚恩廉还忠心耿耿地陪伴着他。
代王虽然年幼，却也预感到了不祥，浑身颤抖着问姚恩廉：
“李渊会不会杀我？”姚恩廉很自信地摇摇头，安慰他说：“请代王放心，不会的。李渊要拥你为天子，他不是那种言而无信的小人。”
“我当天子，那父皇做什么？父皇在哪儿呢？他怎么还不回来呀？”
“这……”一连串的发问，让姚恩廉不知如何作答。是啊，皇上为什么还不回来呢？他远在三千里外的扬州干什么！三千里山河阻隔，此时此刻长安城里的情形皇上当然不会知道的，即使知道了，又能如何？
姚恩廉茫然地环顾四周，看着这座大殿。这里曾是专供太子住的地方，杨勇、杨广、杨昭……然而，杨勇被黜，杨广继位，杨昭病死，从那以后就再没有立太子，大隋后继无人。今天又杀来个李渊，要立代王为帝。这局面能维持下去吗？维持多久？当年文帝的开皇盛世怎么会这么快就飘然而逝了呢？
姚恩廉正想着，忽听脚步嘈杂，人声喧嚣，一群士兵破门而入，冲上殿来就要擒拿杨侑。姚恩廉大吼一声：
“退下！唐公举义，旨在匡扶帝室，你们一班走卒怎么敢这样蛮横无礼！”
士兵们愕然止步，一个个怔在庭下不敢动。李渊闻讯赶到，斥退士兵，请代王移居大兴殿。姚恩廉扶着杨侑走出东宫，挥泪与他告别而去。几天之后，李渊备法驾迎代王杨侑至天兴殿即皇帝位，改元义宁。尊远在扬州的杨广为太上皇。李渊任假黄钺、使持节、大都督内外诸军事，尚书令、大丞相，并被杨侑封为唐王。李渊又以武德殿为丞相府，改教称令，每天在虔化门处理日常政务。
杨侑下诏：军国机务，事无大小；文武设官，位无贵贱；宪章赏罚等都归丞相府掌理。只有郊祀天地，四时褅袷才向皇帝奏闻。
大业朝廷多有奇事，不仅有长安、洛阳两座都城，如今又有了一南一北两位皇帝。此时候长安城中的阵势，让几位前朝遗老不禁想起三十七年前，隋国公杨坚辅佐周室的情景……