李鸿章到上海后，曾国荃一再向李鸿章催促粮饷，弄得李鸿章很烦。再加上在几次调用人才的事情上，和曾国藩兄弟意见不一致，李鸿章和他们闹的不是很愉快。有这样几桩事情压着底儿，可急坏了向来好大喜功的曾国荃。一方面，他担心李鸿章来攻天京，会和自己抢功，这是他不能允许的；另一方面，他也清楚现在淮军的力量已经今非昔比，可能会很快收复天京。这样一来，自己这两年多的苦战不就白费了吗？殊不知，这时的李鸿章并不想因此得罪曾氏兄弟。于是，李鸿章就装起病来，在苏州、常州按兵不动，写信催促曾国荃快点行动。并说，自己准备掉头南下去攻打浙江。结果这又惹恼了闽浙总督左宗棠。左宗棠认为李鸿章是有意越境和自己抢功，这样，左、李二人之间又产生了矛盾。
李鸿章实在抵抗不住清政府的再三催促，于是写信给清政府报告自己的攻城日期，然后告诉曾国藩让他们早些行动，自己继续观望。李鸿章手下的将领不知道他的心思，个个摩拳擦掌，准备大干一场。大将刘铭传对李鸿章说，我们淮军的大炮只要一开，不到三五天就一定能将天京拿下！
1864年7月19日，就在李鸿章出兵的前一天，曾国荃部用地道埋炸药，轰塌了城墙，一举攻克天京。曾国荃终于拿到了梦寐以求的“首功”。事后，曾国藩拉着李鸿章的手说：我弟弟的面子，是靠你给保住的，我们得谢谢你。
李鸿章虽然没有会攻天京，但却对湘军攻陷天京发挥了重要作用。事后清政府“论功行赏”晋封李鸿章为一等毅伯爵，并赏戴双眼花翎。至此，李鸿章从一个怀才不遇的儒生，一个手中无兵无权的幕僚，踏着太平天国将士的鲜血，最终挤进了清王朝封建统治集团的核心，成为一个令朝野刮目相看的重要人物。
由此看出，李鸿章做事很有原则，他不愿意为了争夺眼前的小利益，就去破坏已经存在的某种秩序或者关系，这也显示出了他的高瞻远瞩和大将气度。就这样，曾经轰轰烈烈的太平天国农民运动终于被清政府镇压。然而，“内患”却远没有消除。南方的太平军余部，北方的捻军，还有西北的少数民族起义还在继续活动着。
师夷长技以“治反贼”
还是在安庆的时候，李鸿章就开始接触外国人的洋枪洋炮，还有那些威力无比的远洋战舰与船队。到达上海之后，李鸿章不无惊异地发现，堂堂大清上海的防卫力量，竟是由英国人、印度人、法国人组成的三千人的洋人军队。这支军队是由上海商人和绅士出钱养着的外国雇佣军。该军1860年正式组建，由美国人华尔出任指挥。1862年，被清政府命名为“常胜军”。这个华尔，后来还娶了杨坊的女儿，加入了中国籍。
“常胜军”的武器都是西式的来复枪和榴弹炮，李鸿章看着这些硬邦邦、冷冰冰的“利器”，不禁惊叹它们的神奇力量，并逐渐对这些“利器”产生了极其热烈的向往。为此，他还化妆成百姓，亲自到上海的外国军舰上参观。李鸿章在文章中写道：我观察我们中华民族和外国人的种种，包括历史、制度和文字等等方面，外国人唯一比我们强的就是他们先进的武器装备。如果我们中国人将来也有自己的先进武器，那我们就再也不用害怕外国人了。
由华尔所率领的“常胜军”连连挫败雄风依旧的太平军这一事实，使李鸿章深深地感受到了洋枪洋炮的巨大威慑力，同时也不得不生出空前的危机感。李鸿章明确提出：大清现在的大患是太平军，将来更长久的大患必是洋人无疑。所以他要求自己的军队不能依靠洋人，一定要“自强”，而最初的自强之道，就是所谓“讲求洋器”。
在李鸿章着手以“洋器”装备淮军时，首先遭到曾国藩的反对。曾国藩一向认为，用兵在人不在器，而且怀疑洋枪洋炮的作用是否有李鸿章说得那么厉害。李鸿章不便强烈回驳自己的恩师和统帅，只是在回信中委婉地表示，我是想学习洋人的一点儿“密法”，希望能增强淮军的战斗力。
在1862年5月给曾国藩的信中，李鸿章谈到世界历史说，以前俄罗斯和日本因为不知道大炮的厉害，所以国力日益衰退，自从他们从英法学到武器的制造术后，便逐渐能和英法比高下。除此之外，李鸿章日益感到淮军势单力薄。他考虑到从老家招兵不方便，所以除了在当地招募了一些新兵之外，把淮军主要来源放在改良以前的防军上。他还收编了一大批太平军的人马，用以扩大和充实淮军力量，而且收编的降军力量远远超过改编的防军。这是李鸿章有意采取“以毒攻毒”之策。
此时李鸿章还开始组建自己的水师。最早的淮军水师起建于安庆时期，那时候有五只大船。到达上海之后，李鸿章改编了上海旧的水师防军和苏嘉地区的部分船队，还有其他一些零散的力量。他还统率着淮阳水师和太湖水师。这样，李鸿章的淮军便达到了水军4万人，陆军7万人的规模。
最初李鸿章训练淮军，基本上也是按照以前训练湘军的那一套办法，特别是每天要带领士兵唱“爱民歌”，这都是曾国藩的创意。湘军虽然拥有洋枪洋炮，但是很少使用。李鸿章则请洋军官进入淮军大营，帮助实际操练，让士兵学习洋枪洋炮的使用方法。从此以后，淮军这支湘军中最早的分支部队，开始和湘军有了诸多的差别。李鸿章就率领着这样一支队伍，开始了对太平军更猛烈的进攻和更疯狂的剿杀。
北洋水师粉墨登场
1840年，英国殖民者发动了侵略中国的鸦片战争。1842年8月29日，清朝政府在英国侵略军的舰炮威逼下，接受了丧权辱国的《南京条约》，中国由此开始沦为半殖民地。清朝军队在鸦片战争中的屡次失败和《南京条约》的严酷现实，促使清朝统治集团中的一些有识之士睁开双眼，开始观察外面的世界。
抗英名臣林则徐和思想家魏源大胆发出了“师夷长技以制夷”的呐喊，要学习西方国家“坚船利炮”等先进的科学技术以抵御外来侵略，并初次提出了创建近代海军的草案。1856至1860年，英法两国联合发动第二次鸦片战争。英法联军的海军舰队在中国万里海疆如入无人之境，清政府在又一次的“创巨痛深”的危局中，开始着手兴办近代海军海防，但很快就因受到挫折而止步不前。
此一时期，我们的东邻日本，正是“明治维新”之后，政治、经济、文化、军事逐渐发达强大起来的时期。当李鸿章还在江苏的时候，日本就多次派员到淮军军营考察学习，李鸿章也曾受到日本积极学习西方军事的启发，发展洋务。同时，他又随时关注着日本的不断强大，感到日本对于中国是一个潜在的威胁，中国应该提高警惕。明治政权在不断废除不平等条约的同时，开始蓄谋向亚洲邻国进行侵略扩张，对中国、朝鲜、琉球等国虎视眈眈。同治九年（1870年），羽翼尚未丰满的日本看到列强纷纷在中国谋取利益，便派外务大臣柳原前光到中国来试探，李鸿章接见了这位外交使臣。
柳原前光只是试探性地提出请求两国友好通商，李鸿章这时的心思是，中国近年来饱受西方列强的侵略，要是与日本建立合作关系，就可以联手对付西方侵略者。
柳原前光回去之后，日本政府又派代表来中国与清政府谈判，但是并没有像李鸿章想象的那么简单，日本提出要求中国给予片面最惠国待遇，在中国内地通商，与西方诸国一体利益均沾。李鸿章一看日本如此狂妄，气不打一处来，他坚决不理会日本的要求。这时的日本虽然野心勃勃，但是毕竟羽毛未丰，没有实力对中国施加武力。最后双方签订了《中日修好条规》和《通商章程》，除了在指定通商口岸贸易之外，还规定双方不得侵犯“邦土”，遇有外敌侵略应该互相帮助。这一条约基本是按照李鸿章的设想签订的，打破了日本染指中国的幻想，还在表面上建立了中日联合的东方阵线，一定程度上有利于抵御西方侵略。
不过日本政府对此非常不满，随后又派柳原前光来找李鸿章交涉，要求改签条约，谋求更多的利益。李鸿章大为光火，将柳原大骂一顿，柳原见无隙可乘，只得灰溜溜地跑回国。但是日本并不甘心，暗地里伺机另找突破口。
机会终于来了，同治十一年（1872年）底，有琉球船只因遇飓风漂到台湾，被台湾高山族误杀船民50多人。第二年初，日本小田县四人漂到台湾，也因被误认为是外敌入侵而被岛民所杀。琉球是中国的藩属国，台湾则是中国的领土，本来与日本无关，但日本却趁机要挟中国，企图进占台湾。
日本政府派柳原来中国换约，柳原知道李鸿章的态度强硬，所以他没有与李鸿章接触，而是直接跑到总理衙门指责台湾岛民杀害琉球船民，并声称琉球不是中国的藩属国，而是日本领土，并要求中国严惩台湾凶手。柳原的这一无理要求遭到了总理衙门的驳斥。日本见无理要求没有奏效，就开始寻求武力解决。一年后，在美国的帮助下，日本悍然出兵占领了台湾的东部琅娇。
英国驻华公使见美国帮助日本独自插手侵略中国，大为不满，一方面提出抗议，一方面将这一消息告知清政府。清政府在李鸿章的建议下，派福州船政大臣沈葆桢为钦差，率军万人前往台湾弹压，并带淮军刘铭传及船政监督法国人日意格协助。
日本此时并无实力与中国正面交战，于是又派柳原前光与清政府谈判，企图通过外交手段获取利益。他们除了要求所谓惩凶之外，还索要军费白银200万两。结果又被李鸿章一顿臭骂，柳原灰溜溜跑回日本。
日本派内务卿大久保利通继续与李鸿章谈判，此时清政府与李鸿章也想尽快和平解决，加上西方列强为各自的利益也出面调停，最后双方签订了《北京专条》：日本从台湾撤兵，中国承认日本侵台是“保民义举”，给日本抚恤银50万两。
《北京专条》的签订，除了让日本试探到了清政府的底细之外，还给日本吞并琉球留下了隐患。因为条款当中，清政府并没有明确中国与琉球的宗藩关系，而是承认了日本的“保民义举”，同时也使得列强更加感到清政府的无能。
1874年，日本寻找借口出兵侵犯台湾。此事虽以和议告终而未开启更大战端，却在中国朝野上下引起更强烈的震动。由此，在内部引发了一场轰轰烈烈的“海防大讨论”。1874年11月，总理衙门的文件中强调了海防的重要性和紧迫性，并提出“练兵”、“简器”、“造船”、“筹饷”、“用人”、“持久”等办法。请沿海各省的督抚和将军进行讨论。
此时身任直隶总督兼北洋大臣的李鸿章，呈交了洋洋万言的《筹议海防折》，陈述了海军海防大业的重要战略意义，要求大举兴办近代化的海军海防。李鸿章首先分析了中国所面临的前所未有的严酷形势：历代备边，多在西北。其强弱之势，客主之形，皆适相埒，且犹有中外界限。今则东南海疆万余里，各国通商传教，来往自如，麇集京师及各省腹地，阳托和好之名，阴怀吞噬之计，一国生事，万国构煽，实为数千年未有之变局！轮船电报之速，瞬息千里；军器机事之精，工力百倍。炮弹所到，无坚不摧；水陆关隘，不足限制，又实为数千年来未有之强敌！李鸿章还痛切指出了处理国际关系的根本是在于国家之实力：“洋人论势不论理，彼以兵势相压，我等欲以笔舌胜之，此必不得之数也”。他又指出历史时机的紧迫性——“正值海防吃紧之际，不特为外人所窃笑，且机会一失，中国永无购铁甲之日，即永无自强日！”
李鸿章在奏折中还阐述了关于海防的具体实施办法。提出中国应以陆军为主，海军设立南洋、东洋、北洋三支水师。左宗棠提出不同的意见，他认为，现在大清国应该实施“东则海防，西则塞防，二者并重”的意见。他认为，如果设立三支水师，那么将导致领导的不统一，三支水师会各自为政。他建议，海军应该统一领导。
李鸿章和左宗棠的分歧在于，李鸿章认为西北塞防可有可无，甚至可牺牲新疆作为代价。而左宗棠认为西北边疆十分重要，塞防不固，则西北屏障尽失。当时清政府面对的局势是沙俄侵占伊犁，阿古柏占据新疆，收复新疆迫在眉睫。1874年底，同治帝病死，光绪帝继位，慈禧再次垂帘听政。次年，海防讨论进入了廷议阶段。以奕为首的总理衙门既没有采纳李鸿章的意见，也没有赞同全力注重西征的主张，最后作出“海防”、“塞防”并重的方针。令李鸿章负责海防，令左宗棠去负责“塞防”问题。
左宗棠在稍后的奏折中，看似支持朝廷意见，实际是主张全力西征。在他看来，海防没有现实的危险，“窃维泰西诸国之协以谋我也，其志专在通商取利，非必别有奸媒……商贾计日求赢，知败约必碍生计也，非甚不得已，何敢辄发难端。自轮船开办，彼挟以傲我者，我亦能之；而我又博心抑志，方广求善事利器益为之备；谓彼犹狡焉思启，顾而他之，似亦非事理所有。”显然，左宗棠认为西方各国无意侵犯，而中国已有足够的准备，海防不足为虑。言外之意就是应该全力西征。