李鸿章是中国近代海军当之无愧的创始人，是他一手亲力打造出一支现代化的海军舰队，这一点他功不可没。
早在第二次鸦片战争后，李鸿章就关注了海防问题。他虽然不是中国近代第一个关注和提出海防思想的人，但却第一个提出海防比陆防重要，应该建立一支强大的海军，以加强海防。
在中国近代，李鸿章之前的前辈提出的海防思想，重点在改善水师与岸炮的质量上，从李鸿章起，海防思想的重点是将海防提升到战略位置，并且建立一支强大的海军上面。李鸿章提出的海防思想即便到今天，也很有启示意义。
李鸿章提出的开源节流办海军的思想，也是有积极意义的。比如，为了筹措到办海军的银子，他针对宫廷费用开支过大的情况，曾经上折子给慈禧太后，希望“停宫府不急之需，减地方浮滥之费，以裨军实。”在慈禧身上节约银子，等于在老虎脸上拔毛一样，够胆大的。但李鸿章为国家社稷考虑，竟然做了，也是他为官的本来操守，值得肯定。
在李鸿章的努力下，最终北洋海军于1888年建立起来，共有军舰25艘。而且中国历史上的第一支海军一诞生，就是亚洲海军第一，世界海军第七。
1862年4月，李鸿章率淮军抵达上海不久，正遇上那里有外国人组成的武装——洋枪队和外国军舰。他总觉得同样是军队，为什么外国军队的战斗力那样强呢？
李鸿章要解开这个谜。他找许多书来看，看完后，还觉得不过瘾。于是想出个主意——微服私访。主意打定，李鸿章真的就化装成一个小老百姓的样子，溜上了停泊在长江口的一艘外国军舰。洋人的武器装备与军纪，让李鸿章感到震惊。于是，李鸿章决定从自己手中这支部队做起，引进先进的武器装备，改革落后的兵制。
当时，李鸿章淮军的武器装备除刀、矛、弓、矢等冷兵器外，就是传统的鸟枪、抬枪和劈山炮。于是，他先是通过哥哥李瀚章向洋人加急订购3000支洋枪，到货后，于1862年7月首先将其兵营改为洋枪队。
这支洋枪队真给李鸿章做脸，8月就在七宝街和北新泾之战中大败太平军，李鸿章更坚定了更新装备提高战斗力的决心。同年9月，李鸿章着手开始营制的改编，将各营之鸟枪队改为洋枪队。改编后的淮军装备为：每营共有洋枪328支，洋枪兵占全营战兵总数的71.6%。
1863年初，李鸿章又开始在淮军中建立炮队。原来，中国军队的炮兵是步兵的一部分，从来没有独立执行过作战任务。这次，李鸿章专设洋炮队，独立于步兵，成为中国最早的独立炮兵。到6月间，淮军每营都有劈山炮40尊，炮兵占全营战兵总数的26.2%。这一改革使淮军的战斗力大为增强。到1877年，淮军炮营已成为可以独立执行作战任务的炮兵部队。
李鸿章不仅注意到了武器装备的更新，而且他还认为，如果不强化训练，建立近代化的军队也是一句空话。
李鸿章用新式战法训练军队通过两个途径完成：一是雇外国军官担任教练顾问。二是拨军队由外国军官训练。
一开始，那些土里土气、没有文化的农民出身的士兵并不懂得如何使用洋枪和洋炮，李鸿章就让外国教练手把手地辅导。
有空时，李鸿章还自己搬把椅子，坐在教练场看士兵演练。有一次，发生了士兵因操练失误导致弹药被引爆，炸死20多名官兵的事件。但是，李鸿章一点都没有动摇训练改革的决心。他说：“世间没有唾手可得之果，待兵士百发百中之时，将无坚不摧！”
在解决新式装备的来源问题上，李鸿章主张“两条腿走路”：购买与自制相结合。
1868年，李鸿章派出一个庞大的出国军火洽购团，到欧洲国家参观考察军火工业，准备购买大批外国先进的武器装备。这期间，还发生一件事情。这个军火洽购团，到了欧洲几个国家后，来到了德国的埃森。埃森是克虏伯公司的所在地，克虏伯公司给予中国代表团以热情的欢迎和尊重。当时，中国男人都有辫子，西方人没有见过男人还梳辫子，所以代表团到英国和法国一些国家，总是被人围观和嘲笑。但是，克虏伯公司却不是这样。这家公司高层早就得知中国代表团在其他国家的遭遇，于是采取非常彬彬有礼的接待方式，甚至让自己的夫人出来，一起接待中国人。这使得洽购团的成员感到非常满意，回国后，他们就向李鸿章汇报了这件事情。李鸿章是一个民族自尊心非常强的政治家，他当即被克虏伯公司这个微小的细节吸引，后来向这家公司订购了356门克虏伯大炮，成为这家公司成立以来，一次订货最大的一笔订单。
后来，由于出现个别外商在帮助购买武器装备时，往往以次充好，一枚12磅炸弹竟要30两白银，于是李鸿章决定自造枪炮。
为此，李鸿章先后创办了金陵制造局、江南制造局等各种近代军事工业。这些军事工业生产出来的轮船、枪炮、弹药，不仅为淮军不断近代化提供了物质条件，而且为清朝编练了近代海军和新式陆军提供了装备。总理船政大臣沈葆桢说：“凡直隶督臣及江南各省所用武器，均为江南制造局提供。”
李鸿章深知清朝军事制设和教育远远落后于西方，要开展近代化的军事改革，必须从人才的培养入手。清政府重视军事人才建设表现在：
一是选送可塑之才出国学习。北洋海军绝大多数管带，也就是舰长都有留学英国的经历。
二是建立新式军校。1880年李鸿章“参酌西国成规”，创办了天津水师学堂，培养炮船、快船和铁甲舰所需的技术人才。在当时，建立海军学校，即便在世界上也是一个新事物，美国海军学院也不过成立于1884年。所以，李鸿章创设天津水师学堂，即中国近代海军学院，实在可以说得上是一件“开北方风气之先，立中国兵船之本”的大事！
此后，李鸿章在天津、威海卫等地还办了船政学堂、水师学堂、武备学堂、鱼雷学堂等一批新式军校，中国近代一些有名的人物像段祺瑞、徐世昌、冯国璋、黎元洪等，都出自这些学堂。中国新式军官教育的先河，就这样开始了。