隋朝末年，农民起义的火种遍及中国大地，农民起义英雄辈出。北有窦建德，南有杜伏威，东有王薄，中有李密和翟让。农民起义军由一开始的分散作战发展到联合抗击隋朝的军队，沉重地打击隋王朝。但是，隋王朝皇族的残余势力仍然在负隅（yu）顽抗，找各种机会以图东山再起，因此这时候的斗争更像是一场拉锯战，隋朝的江山只能在风雨飘摇之中苟延残喘。
公元616年7月，隋炀帝见洛阳形势危急，已非安全之地，就下令由越王杨侗留守洛阳，自己却携宠妃逃至江都避难。这时，隋朝的一些地方军政官员，眼看隋朝大势已去，也纷纷起兵建立割据势力，企图逐康天下。已经有过数次战斗经历的李世民显然也注意到了这一成就千秋霸业的有利时机，他不甘人后，也积极谋划，准备在适当的时机起兵伐隋。
太原地势险要，自古就是兵家必争之地，朝廷对太原的驻军也分外重视。因此，朝廷调集了大批部队在太原安营扎寨，同时，也给予了太原守军充沛的粮草和军饷。李渊和他的儿子们利用天时地利，以太原为中心，广交天下朋友。
隋朝的军官长孙顺德和刘弘基因为犯法，逃到晋阳，被李世民收匿（ni）在家中。李世民经常去看望他们，并给他们钱财，帮助他们渡过难关。因为长孙顺德和刘弘基在军事方面都颇有造诣，李世民和他们一起讨论农民起义的形势，并就相关问题向他们虚心请教，一来二去他们就成了无话不谈的好朋友。
还有一个名叫窦琮的隋朝军官，也因犯事在太原隐匿。因为他以前和李世民有私仇，担心李世民报复，所以经常疑神疑鬼，寝食难安。但是，李世民却看重他的将才，不计前嫌，经常邀请他来家做客，还经常去他家里拜访。窦综因此十分感动，遂同李世民结为至交。
当时，李密领导的农民起义军已打入河南，引得隋炀帝震怒。刘文静因与李密有亲戚关系而被逮捕，关押在太原监狱中。李世民得知甚为震惊，立即到狱中探望，并想尽办法将其救出。
一时间，李氏父子豪爽、热情、任人唯贤、虚怀若谷的美名远播，全国上下广为传颂。一大批不堪忍受隋炀帝压迫的仁人志士，不远万里来到太原，投奔在李氏父子门下，李家门庭若市、高朋满座，李氏父子的实力逐渐强大起来。