攻破西河以后，李渊让李元吉做太原留守，镇守晋阳。并任命李建成为左领军大都督，任命李世民为右领军大都督，裴寂等为谋士，从晋阳出发，计划南渡黄河入关。隋炀帝留守长安的儿子杨侑得知李渊起兵南下，大为恐慌，当即派将军宋老生率两万精兵驻守在五十里外的霍邑（今山西霍县）一带，派大将军屈突通驻扎在河东一带，共同防御李渊。
公元617年7月，李渊亲率三万大军继续南下，在距霍邑五十余里的贾胡堡安营扎寨，同宋老生对峙。由于连日暴雨，汾水泛滥，路面上水流成河，平地水深数尺，道路泥泞不堪，无法行军。李渊只得命令军队原地待命。士兵们久宿野外，每天浸在雨中，痛苦不堪，难免会有怨言。更糟糕的是，暴雨毁坏了交通，将李渊与军备物资供给部队的联系切断了，导致军中补给供应不足，粮食严重缺乏。此时兵困粮乏、军心浮动，每天都有士兵开小差偷偷溜走的。正在这危急关头，又有流言说刘武周勾结突厥，准备乘虚攻打太原。种种传闻，使军心极度涣散。
“宋老生、屈突通连兵据险，不容易迅速攻下啊。”在李渊召集的议事会上，裴寂忧虑重重地说道，“突厥贪婪无信，唯利是图，如果刘武周去引诱他，很难说他不会动心呀。传言不能说是真的，但谁又能保证它是假的呢？万一是真的，又怎么办？太原是一方都会，义兵的家属全在那儿，如果家属被人家抄走了，军队还不崩溃了么，所以与其困在雨中不能前进，还不如回救老巢，护住根本重地，等形势好些后，再西征也不晚哪！”
很多人都赞成裴寂的意见，认为这样持重是万全之策。
“这样做是非常危险的！”李世民着急地站起身来，话也因焦虑而说得飞快，“现在这里遍地都是麦苗，如果粮食真的断了，还可以煮麦浆吃，活人还怕被饿死吗？宋老生这人轻躁得很，可以一战而檎。刘武周与突厥表面上拉得很近，其实内心互相猜忌。他敢南下抄我们的太原，就不怕突厥抄了他的马邑么！当初我们举义起兵，就是要不顾一切代价先入长安，号令天下。现在遇到了一个小敌，就突然想班师回太原，这恐怕义军心凉，一朝解体啦。就算回到太原，守着一城之地，不过是做一个小贼而已，别说取天下了，恐怕最后连自己都保不了！”
“二郎啊，你把话说得过头了吧！”裴寂摇头表示不同意，他的眼皮眨了眨，语气显得很随便，“不回太原，就继续待在这儿躲雨，不进不退的，万一太原失守了，你能保证军队不哗变么？回了太原，军队就真的像你说的那样会散么，大将军的威望这么高，兵带了这么多年，会让军队说垮就垮么？”他胳膊伸得长长的，胡乱搗着食指，“二郎啊，我和大将军认识了几十年，你还没出生的时候，我们就成了好朋友啦，我们经历过的事多啦，知道做事是有章法的，很多事都坏在年轻人急躁冒进上面，还是稳当点儿好。”
李渊点了点头。
“谁知道这雨下到什么时候为止啊？往年这个时候，一下就是一个多月。”左领军长史陈演寿旁敲侧击地说道。
“是啊，是啊，稳当点儿好。”众人都表示同意。
“建成，你是什么意见？”李渊问道。
“我以为老二说的有理。爹爹，我们不能轻易退兵。”李建成温和地说道。
“裴长史，请问你们过去有过造反的经验么？”李世民脸涨得通红，但仍然竭力保持着语气的平静，“恐怕还是第一回吧？这次西征，老经验不见得都用得着！你看杨玄感，败就败在犹豫不决上，他要是早点西取长安——”
“你爹爹可不是杨玄感，”裴寂笑嘻嘻地摆摆手，打断了李世民的话，“杨玄感值得提么，此人有勇无谋，莽夫一个。”
“算了，大家就议到这里吧。”李渊出面平息了这场争议，他转向众人，作出了最后的决断，“那就先退回太原吧，看来不收拾刘武周，心里总不踏实。”
“什么时候开拔？”长孙顺德问道。
“今天下午。兵贵神速。”李渊回答。
雨像在印证裴寂的话似的越下越稠，到了黄昏，还刮起了风，白白的水汽被风吹得长长的，像一波一波的水国骑兵向前飘忽。天渐渐地黑了下来，秋雨在黑暗中淅淅沥沥地洗着。
李世民穿着长靴，乘着茫茫的夜色，在凹地的水凼（dang）中趟来趟去，不远处，将士正一队队地向太原方向撤退，那哗哗的趟水声，就像命运的脚步，踢踏在他的心上。
这个看来很平常很平常的雨夜，可能就是决定大军，决定众人，包括自己的命运的时刻。
天机啊天机，一失不再来！李世民恍惚看到，在大军一队队撤向太原的时刻，天机就像一条朦胧的龙，正在黑暗和夜雨中沿着水凼的表面滑行，朝着大军撤退的相反方向飞去。
是时候啦，大丈夫该出动了，再做一次努力，豁出去了再赌一把吧。
大雨中李世民走到父亲的住处。大帐外站着四位穿蓑衣的卫士，为首的见了李世民，轻声地说：“二郎，大将军已经睡了，他说明日要赶早走！”
“我想叫醒爹爹，有紧要事要和他商量！”李世民着急地说。
“不行啊，二郎！”那卫士为难地说，“大将军专门交代过，就是他儿子来了，也不准叫他！”
好容易聚集的希望像一堆码起来的砖瓦，被人一推而倒。李世民的心几乎揪成了一坨儿，像个陀螺急速地旋转着，他绝望地仰头看着黑暗的夜空，雨水打在他的脸、眼睛、鼻子、嘴巴上。
夜空似乎从高处向下坠落！“爹啊——”李世民突然忍不住放声号哭起来，“爹啊，这样怎么得了啊！爹啊，这样怎么得了啊！”他的哭声好像猛兽受伤后的号叫。突然大帐中有一个熟悉的声音问道：“是谁在外边哭？”李渊醒了！
“是我，爹，我有紧要话和您说，爹——”李世民哭喊道。“好啦，好啦，别哭啦，我马上就起来了。”李世民进门时，李渊惊问道：“世民，你怎么没穿蓑衣，全身都淋透了？”
“爹爹，我是哭我们要完啦，你一定要听我把话说完啊！爹——”李世民又哽咽了。李渊劝道：“世民，既然进来了，就慢慢说，急什么？在那边坐下吧！”李世民仍然一动不动地站着，他吸了一口气，终于平静地说道：
“爹爹，您曾经指挥过多少次战斗，知道军队是不能随便后撤的。现在我军刚刚举义，看起来声势很大，其实心里非常脆弱，如果一直向前进，大军就会斗志高昂；如果一向后撤，它就会一哄而散；大军一散，后面的敌人跟着上来，我们不是很快就要灭亡了吗！”“继续讲你的吧！”李渊用命令的口气说道。
“现在朝廷听说我们起了兵，非常忧虑，把骁将精兵都布置在我军西进的路上。这是一个两军决战、在战场上分出个你死我活的架势啊，如果我们没和敌人接触就轻率地撤退，士兵们哪知道是怎么回事呢，还以为敌人太强大啦，还以为我们自己垮啦，士兵们胡乱恐慌，你吓我我吓你，肯定会出问题的！那样军营内外都成了我们的敌人。那时候北边的突厥和刘武周将趁火打劫，南边的宋老生和屈突通也会追逼过来，我们南不能南，北不能北，回没有个回处，去没有个去路，就像掉到了河里，不用别人打，自己就能把自己给淹死啦！怎么能说不危险呢！现在断了粮食又怕什么，遍地都是生麦浆可以煮着吃，最可怕的是临战怯场。只要向前进，就总会有粮食，总会有军队。总之就是要进取才行！李密把几个粮仓看得过于金贵，结果没有一点深谋远虑，把整个关中白白地让给我们，我们难道也像他那么傻，放着关中不要，又让给别人吗？宋老生行军打仗历来轻躁，我军向前去，攻破他的霍邑是没有任何问题的。我们这支队伍大都是新军，非常需要一场胜利来建立信心，可不是需要一场撤退和逃跑！我们能否成就大业，建立威望，就看这第一场战斗能否取得全胜了！”
“爹爹，您可不能真的信了他们的话，他们口头上说是要保卫太原，其实是想顾他们的家，保他们的命，为这找一个好听的借口罢了！孩儿是那种上战场不要命地拼杀的人，不是那种讲空话的人。爹爹，您常说种地要问种地的，织布要问织布的，现在打仗您是不是要问我们这些打仗的，问他们那些文人做什么！爹爹，等雨停了向前进军，如果不能杀了宋老生，攻下霍邑，孩儿愿意割下脑袋见您！”
“世民啊，你终于把为父的给说服啦。”李渊感慨地说，“先派卫士把你大哥叫来说一说吧！”
李建成很快到来了，他对父亲说，他完全赞成弟弟的意见！“你们兄弟俩的谋划才是对的，就这么决定了！”
李渊既高兴又不满，“那些懦夫之徒，差点儿坏了老子的大事！”
没过几天，就在28日，太原运来的第一批军粮到了，这时候大军库存的粮食仅仅还够吃一天的。