太原地区一共有五郡，其中有四郡都服从李渊的号令，只有西河郡（今山西汾阳）拒不听命。李渊起兵，派人去宣布命令，西河郡守高德儒竟然将使者杀掉，一点也不买李渊的账。高德儒为患一方多年，他欺下瞒上，一心想做高官，令西河百姓深恶痛绝。高德儒不愿归附李渊，一心只想着自己的荣华富贵。由于这西河郡乃是起义军南下的必经之地，李渊只得命令李建成、李世民兄弟共同领兵攻打西河。考虑到李建成、李世民年纪还轻，李渊又派太原令温大有与他们同行。
李世民兄弟率军来到西河城下，将城团团围住，准备选择恰当时机攻城。由于李渊他们统领的士兵都是新征募来的，没有什么实战经验，也没有受过什么专业的军事训练，所以李世民兄弟带领起来格外吃力。虽然部队的情况并不那么尽如人意，但是李氏军队的军纪却十分严明，李世民要求军中任何人不得侵犯百姓、不得损害百姓的利益。当时正是6月间，沿途瓜果蔬菜，应有尽有，李世民号令全军，不买不食。隋朝末年，兵匪盗贼横行，老百姓备受其苦，现在看到这样纪律严明的部队，也都十分高兴。
由于此时西河城已经被李氏父子的军队围困，想进城的老百姓无一例外地都被士兵阻拦。李世民知道后，下令允许老百姓自由出入。李建成和温大有都不同意，认为李世民这是在往高德儒手下输送士兵，这样对李氏军队不利。但是，李世民却不这么认为，他说：“这高德儒为官无道，本来就招百姓嫉恨。我们在这个时候多放一个人进城就等于是让他多一个敌人。而且，放百姓进城可以替我们往好处宣传，这样做不是一举两得吗？”
李建成和温大有觉得有理，便同意了李世民的意见。
果然，这些老百姓进城之后，都说李氏军队纪律严明、不侵扰百姓，对贫苦的百姓还给予救济。所以，城中百姓都巴望着李家军快点打进来，高德儒手下的士兵们也无心守城了，这民心的归顺也对李氏兄弟取得最终的胜利起了至关重要的作用。
这天，李世民他们见时机成熟，就下令全军攻城。李世民骑在马上，一手紧拉缰绳，一手持马鞭指着城门上的高德儒说：“你快点投降吧，我们可以饶你一死。”
高德儒看到这个十几岁的少年竞然如此嚣（Xiao）张，不由大为生气，他大声骂道：“你这个毛头小子，竟敢在本大人面前口出狂言，有胆量你就速来送死，别在那里哭爹喊娘。”
见高德儒毫无妥协之意，李世民和李建成于是就命令手下攻城。他们命令士兵将长梯靠在城墙之上，并且身先士卒，带头攀梯而上，士兵们紧紧跟随，喊杀声惊天动地。这高德儒本来就不得军心、民心，此刻他还站在城门上对他的部队指手画脚，但是哪里还有人听呢？看到李氏军队越过城墙，有的抱头逃窜，有的举手投降。高德儒见势不妙，就带了家眷和金银细软企图逃跑。但是，天网恢恢，疏而不漏，他们还是被攻城部队抓获。李世民历数其罪状，将他拉出去斩了首。
攻下西河后，李世民并不滥杀无辜，对其他人都不问罪，并打开西河粮仓救济忍饥挨饿的贫苦人民，原来的官吏也各安职守，李世民对他们秋毫无犯。周围的老百姓知道了，无不欢呼雀跃。