不料，派去探听虚实的人马被洛阳守军发觉，打了一仗，败退而归，还被俘虏去了几个士兵。洛阳守军从俘虏口供中知道瓦岗军要攻取东京，立刻开始加强城防守备，并派人疾驰扬州报奏皇上。
翟让越发觉得，不仅不能攻打洛阳，荥阳这里也不能再呆下去了。
李密认为恰恰相反，说：“事已至此，洛阳更是非攻不可。兵法讲，先发制人，后发则制于人，咱们正在先发之势。东京周围的百姓困苦饥馑，兴洛仓储存了大批谷米，离东京近二百里。咱们率领精兵，轻装奔袭。兴洛仓守备薄弱，拿下它轻而易举。等东京得到消息，兴洛仓已落入我手。我们发粮赈救穷乏，远近百姓定会归附，招募几十万兵勇并不是难事。到那时，朝廷大军即使来攻，我们也没有什么可怕的了！”
翟让听了，无奈地摇摇头说：“的确是英雄谋略。不过我无能为力，难当此任，蒲山公尽管做主布置吧。你率军先发，我为你殿后。”
李密想，这不是等于交出了主帅大权吗？当然求之不得！
李密挑选了七千精兵，疾趋阳城北，翻越方山，从罗口方向突袭兴洛仓，以迅雷不及掩耳之势，一举攻下了这座全国最大的粮仓，竟如囊中取物。
兴洛仓修建于大业二年。此前一年，也就是在营建东京的同时，已经在宫城东面修了一座含嘉仓。当时年丰粮足，杨广觉得还不够用，就诏令又在巩县东南原上修了这座兴洛仓。兴洛仓城周围二十多里，有三千座粮窖，每座窖可储粮八千石，这样算来，共储粮两千多万石。
但是李密攻进兴洛仓一看，有半数的粮窖空空如也。然而对瓦岗军来说，兴洛仓现存的这些粮食已是战果辉煌了。李密下令立即开仓放粮。霎时间，四乡百姓扶老携幼，背筐挑担，纷纷涌进兴洛仓。
果然不出李密所料，攻下兴洛仓使得瓦岗军声势大震，归顺降附者从四面八方纷至沓来。也让留守东京的越王杨侗吓破了胆，慌忙命虎贲郎将刘长恭率两万五千兵马夺回兴洛仓。
杨侗计划以两路夹击瓦岗军，刘长恭率部从正面进击，又派讨捕大使裴仁基领兵从汜水而入，掩袭瓦岗军背后。
刘长恭的一路先行抵达兴洛仓，昼夜行军，士卒们还没来的及吃早饭，刘长恭就命令先抢渡洛水，在石子河西摆下阵势，南北十几里。
李密挑选骁勇兵将分成十队，令四队埋伏在横岭下，对付从后路来袭的裴仁基。其余六队在石子河东摆阵，迎击刘长恭。刘长恭见瓦岗军没有多少人，更不放在眼里，挥师进攻。翟让先率队迎战，正厮杀得难分难解的时候，李密又率部横冲敌阵。饥困疲劳的隋军，哪能抵挡得了李密部众的勇猛冲杀，一瞬间便大败溃散。刘长恭趁着混乱脱下将军战袍，换上士卒衣装，抱头鼠窜，逃回东京。手下士卒大半丧身于瓦岗军刀枪之下。
瓦岗军击败刘长恭，缴获隋军全部辎重器甲，更是威声远扬。
杀张须陀，破兴洛仓，败刘长恭，接连几次大胜，使瓦岗军的各位首领和豪杰将士更加信服李密的智勇才干。他们都看明白了，瓦岗军能有今日之声势，多亏有了李密；而瓦岗军要想成就明天的大事业，没有李密是不行的。于是便动议推李密为瓦岗军主，上号魏公。
翟让原本胸无大志，文韬武略自认远远不如李密，驾驭一支如今已有数十万人马的队伍已是勉为其难，早就有意让位，所以对各位首领豪杰的动议举双手赞成。
瓦岗军在巩南设坛场，李密即主帅位，刑牲歃血，改元永平。李密文书行下，称行军元帅府，魏公府设三司、六卫，元帅府设置长史以下官属，都归李密节度指挥。
李密拜翟让为上柱国、司徒、东郡公，也设长史以下官，但人数比元帅府减半；又命单雄信为左武侯大将军，徐世勣为右武侯大将军，各领所部兵马；房玄藻为元帅左长史，李公逸为右长史，等等。诸位首领将官都有封拜。
这样一来，赵魏以南，江淮以北各支起义军纷纷响应，拥戴李密为盟主。孟让、郝孝德、王德仁及济阴房献伯、上谷王君廓、长平李士才、淮阳魏六儿、谯郡张迁、魏郡李文相、济北张青特、上洛胡驴贼等都率所部义军归顺李密。李密分别授予官爵，各领部众。李密设置百营簿，登记归附各营，以便号令指挥。投奔瓦岗军的人如百川归海，不绝如流，瓦岗军的实力很快扩充至近百万人。
李密命部众修筑洛口城，方圆四十里，作为瓦岗军的大本营。又派房玄藻率兵东进，攻城略地，安陆、汝南、淮安、济阳等郡县多被瓦岗军夺取。
巩县处于瓦岗军的威胁之下，县令柴孝和与监察御史颋献出城池，向瓦岗军投降。这样，洛口城周围，瓦岗军的根据地中，就剩一个巩县东南百花谷的裴仁基了。
讨捕大使裴仁基受越王杨侗之命，与刘长恭奔袭洛兴仓前后夹击瓦岗军，但他未能如期会合。待他到达时，听说刘长恭已被打败溃散，不敢再进，就在百花谷筑垒自守，又恐朝廷治罪，心中一直惴惴不安。李密探知裴仁基处境不妙，便派人与裴仁基暗中接触，劝他投降。不知怎么走漏了风声，此事被监军御史萧怀静知道，写信密报东京。裴仁基看到已无路可退，一不作二不休，杀了萧怀静，率部众投降李密，被李密授为上柱国、河东公。
裴仁基投降，使李密又得了一员勇将秦琼。秦琼，字叔宝，齐州历城人，曾是来护儿帐下一员干将，后跟随张须陀，因勇猛善战颇受器重。有一回，秦琼随张须陀攻打卢明月义军。当时卢明月拥众十万，驻军下邳。张须陀的人马才有一万五千多，众寡悬殊，不敢贸然进攻，就在距下邳六七里处安营扎寨，相持了十几天。眼看粮草将尽，张须陀说：“我军因粮绝撤退，贼寇定会倾巢出击追赶，营内必然空虚。此时如用千余人袭击敌营，可以获胜。但是这样会有很大危险，不知诸将谁能去？”
众将都默不作声，只有秦琼和罗士信愿率兵前往。于是，张须陀命他们二人领两千兵马藏匿在芦苇丛中，自己带余部放弃营栅撤退。卢明月果然率全部兵马追赶。
秦琼和罗士信等卢明月追兵过去，立即率兵直袭敌营。栅门紧闭，二人就飞身攀上寨楼，杀死十数名守门士卒，拔掉了卢明月军的旗帜，营栅中立时大乱。秦琼、罗士信打开栅门，使部下直冲营栅之中，一阵拼杀，守营的卢明月士卒所剩无几。接着，他们又纵火焚烧了三十多座营栅，刹那间，烈焰腾腾，浓烟滚滚，直上云天。
正在紧追张须陀的卢明月，忽闻营中起火，急忙率军还救大营。张须陀回军反击，大败卢明月义军。此战之后，秦琼、罗士信的勇猛闻名远近。
大海寺一战，张须陀战败自刎，秦琼领部分余众归附了裴仁基，现在又随裴仁基降附李密。
几乎与此同时，另一名豪杰勇士程咬金也投到李密帐下。程咬金是济州东阿人，少年骁勇，善用马稍。为防强贼，聚徒数百人共保乡里。兴洛仓之役后，程咬金慕李密大名，千里迢迢率众南下，投奔瓦岗义军。
李密选拔军中骁勇将士八千人，组成内军，也就是李密的卫队，任命秦琼、程咬金、单雄信、徐世勣为四骠骑，统领内军。李密常说：
“这八千人足可以当百万兵马使用！”到这时，李密觉得，攻打东京洛阳的时机成熟了。李密先遣总管、齐郡公孟让率两千兵马夜袭东京，攻入东京外郭，烧掠丰都市，到次日凌晨撤回。惊扰得东京居民纷纷逃入宫城，台省府寺都住满了难民。
随后李密又派裴仁基与孟让领两万人袭击洛东仓，攻破这座东京的大粮仓，放火烧毁横跨洛水的天津桥，纵兵大掠，旋即撤回。
经过几番这样稍攻即撤的侵袭，洛阳守军已惶惶不可终日。这时城中有兵卒二十万，轮番登城防守，铠甲昼夜不解。李密又率军攻打东京外围的偃师、金墉。这两城一座在洛阳以东六十里，一座在洛阳西北十八里，因防守坚固，都没有攻下，瓦岗军只得退还洛口。
洛阳城中的粮食日见短缺，但最缺少的还是柴草。不过城中府库内有堆积如山的布帛，官兵百姓只好用这些丝绢布帛当作柴草烧火做饭。许多百姓平生从未穿过绫罗绸缎，此时却将它拿来烧火，看着灶膛里跳跃的火苗，欲哭无泪。
李密退兵后，越王杨侗派人把粮米运进宫城，又调五千人屯守丰都市，五千人屯守上春门，五千人屯守北邙山，布成九营，首尾相接，以解瓦岗军来进攻时，隋军只能困守东京宫城的被动局面。大业十三年四月，李密率兵三万，重又攻陷洛仓，并大修营堑，威逼东京。越王杨侗派段达、刘长恭率七万部众出城迎敌，两军在洛阳故城大战。隋军却多不胜少，被瓦岗军大败，退回宫城。
瓦岗军威震中原，东京守军闻风丧胆，宫城倾覆指日可待。
李密命记室君彦写了一篇讨杨广檄文，散发天下郡县。这篇洋洋数千言的檄文，历数杨广十大罪恶，公开向大业皇帝宣战！
檄文中，“罄南山之竹，书罪无穷；决东海之波，流恶难尽”，成为流传千古的名言佳句。