在隋末的农民起义中，拥有数十万人的瓦岗军占有河南大部分郡县，威震中原。瓦岗军的首领翟(zhái)让，本来是东郡的一个小官吏，因得罪上司，被叛死罪，关入监牢。有个狱吏很同情他，一天夜里，狱吏偷偷地把翟让放跑了，公元611年，翟让到瓦岗寨，招集一些贫苦人，聚众起义。听到这个消息，当地一些年轻人纷纷前来投奔，徐世责(jì)、单雄信、程咬金也在其中。
不久以后，曾经帮助杨玄感起兵的李密也投奔到瓦岗军中来了。
最初，起义军人数虽然不多，但军中大多数是用长枪的渔猎手，所以战斗力很强，他们不打扰瓦岗寨附近的贫苦老乡，而到荥(xíng)阳一带专门夺取运河里官府和富商船上的财物。一些小股义军如王伯当、周文举等部先后归附瓦岗军，听从翟让指挥。瓦岗军越来越壮大，到公元616年，已经发展成为一支一万人的武装。
翟让虽然有了很多人马，但是他并没想到要推翻隋炀帝。有一天，李密对翟让说：“刘邦、项羽本来是普通百姓，后来却推翻了秦朝。现在皇上昏庸暴虐，百姓怨声载道，大部分官军又远在辽东。您手下兵强马壮，要攻下东都和长安，打倒暴君，还不是轻而易举的事。”翟让听了很高兴，他和李密商量了一番，决定先攻打荥阳。
瓦岗军直入金堤关要塞，攻破荥阳周围各县，进逼城下，隋炀帝忙派大将张须陀对付瓦岗军。张须陀是镇压农民起义军的老手，他根本不把瓦岗军放在眼里，带领两万多人，气势汹汹地向起义军扑来。翟让在他手下吃过败仗，这次一听说张须陀来了，感到有点儿害怕。李密为他出谋划策：“张须陀有勇无谋，骄傲自负，我们利用他的弱点，一定能够打败他。您率领主力在正面迎战，我领几千人埋伏在荥阳大海寺北面的林子里，张须陀来了，您就把他引进树林。”果真，张须陀骄傲轻敌，他指挥人马掩杀过来，无所顾忌地横冲直撞。翟让稍微抵挡一阵，便假装战败，往大海寺北的林子退去。张须陀紧追不舍，路越来越窄，林子越来越密，他一直追进李密布置的埋伏圈。猛然间只听一片喊杀声传来，瓦岗军伏兵一冲而出，把张须陀的人马团团围住。隋军全军覆没，张须陀被起义军杀死。
第二年，瓦岗军去攻打洛阳城附近的兴洛仓。兴洛仓是个储粮库城，城周围有二十里长，城内有密密麻麻大小不等的粮仓，堆满了粮食。瓦岗军兵分两路，以迅雷不及掩耳之势攻克兴洛仓。瓦岗军攻克兴洛仓后，立刻开仓分粮。饥民们奔走相告，忍饥挨饿的人们从四面八方拥向粮仓，大家手捧黄灿灿的粟谷，感动得热泪盈眶，许多农民因此纷纷参加了瓦岗军，瓦岗军的势力更加壮大了。兴洛仓被攻破，切断了洛阳隋军的重要粮源，隋朝廷受到极大的震动，又派出数万人马分两路夹击瓦岗军。瓦岗军事先侦察到隋军的企图，然后经过周密布置，打败了隋军。
李密在历次战斗中表现出杰出的领导与组织才能，翟让觉得自己的才能不如李密，就主动让位，推举李密为瓦岗军的统帅，以“魏公”为号，兼任行军元帅。李密率领瓦岗军乘胜攻下许多郡县，隋朝官兵纷纷投降，起义军势如破竹。瓦岗军在围攻东都时，发布了讨伐隋炀帝的檄文，列举了他的十大罪状，号召百姓起来推翻隋王朝的统治，这一举动把整个中原都震动了。
正当瓦岗军顺利发展之时，李密为了保住自己在军中的统治地位，竟杀死了翟让，从那时起，瓦岗军开始走下坡路。此时，北方由李渊父子率领的反隋军队却日益强大起来。