1853年，曾国藩以在籍侍郎的身份，受命帮办湖南团练事宜，他看出“兵伍不精”是清王朝的大患之一，决心独树一帜，改弦更张，编练一支新式武装，以挽救清朝统治。1854年2月，他编成并督率湘军水陆两军，沿湘江北上抗拒太平军。湘军有别于清朝常备军，它是汉族地主武装，“以招募易行伍，尽废官兵，使儒生领农民，各自成营”。曾国藩“在京官时，以程朱为依归，至出而办理团练军务，又变而为申韩。”他采取传统的“以上制下”的战略方针，先清两湖，稳定后方，继而把军锋指向江西和安徽。1858年七八月间，曾国藩先后奉命驰赴浙、闽，进击分裂出走、放弃江西根据地、盘旋浙闽的石达开部太平军。10月，他率部到达建昌，未及入闽，石达开部即由闽入赣，转进湖南，锋锐大挫。是时江南军情渐松，而江北却风云突变。面对江南、江北大营进逼天京、湘军围攻安庆、三河、威逼庐州的严峻形势，陈玉成、李秀成两支主力太平军联合作战，首先摧毁江北大营，解除天京北面威胁，继而在安徽三河全歼李续宾所部湘军精锐六千余人，击毙李续宾和曾国藩胞弟曾国华以及文武官员四百多人。包围安庆的湘军，见势不妙，慌忙逃跑，安庆之围不战而解。曾国藩因“江北军情变幻”而惊恐万分，哀嚎“呜呼恸哉！”12月奉命移师援皖。
在这种形势下，李鸿章赶到建昌拜访了曾国藩。李瀚章是曾国藩与李鸿章结合牵线搭桥的人，李瀚章于1849年以拔贡朝考出曾氏门下，1853年署湖南善化知县，当时在衡阳带兵的曾国藩檄调来营，襄办粮台，遇有战阵，也督队指挥。曾国藩称赞他“内方正而外圆通，办事结实周详，甚属得力。”1857年1月，湘军粮台裁撤，归并江西省局，瀚章回籍为其父守制，安徽巡抚福济奏留办理团防捐务。1858年，曾国藩檄调瀚章赴江西总理粮台报销，瀚章遂奉母同住。曾国藩十分器重瀚章，而瀚章也把曾国藩倚为靠山。瀚章既经常向曾国藩通报鸿章在皖情况，有时甚至将其弟家书转呈曾国藩过目；又时时向鸿章介绍曾国藩的宦海浮沉和吹捧其道德学问。瀚章在其弟与曾国藩之间起着沟通情感、增进了解的作用。时值鸿章到南昌看望老母，曾国藩便乘机通过瀚章邀请鸿章前来会晤。他俩有相似的追求：扑灭太平天国烈火、维护清朝统治以期封侯荫子、光宗耀祖；又有相互利用之必要，曾国藩希望借助李鸿章之才以成“大业”，李鸿章企图依靠曾国藩援引以立功名。
对李鸿章的才识，曾国藩早有所知，但认为他性情不稳，妄自尊大，所以故意不见他。一个多月后，李鸿章又托人说情，曾国藩说道：李鸿章也是翰林，志大才高，我这里局面窄狭、只是一条浅沟，容不下他这条大船呀，他何不回京供职？经反复说情，李鸿章终在1859年1月入曾国藩幕，成为曾的幕宾。其实，曾国藩并非不想要他，只是想打一打他的傲气，让他更加内敛沉稳。
在曾国藩幕，李鸿章办理行文、批阅公文，起草书牍、奏章。曾国藩最负盛名的参折《参翁同书片》，即出自李鸿章之手。曾国藩生活极有规律，每天很早就起床查营，然后在黎明时分与幕僚共进早餐，或谈一天工作安排或随意谈天说地。初到曾国藩幕时，比较懒散的李鸿章很不适应这种规律、刻板的生活，深以为苦。一天早晨，他以头痛为名想多睡一会儿，但曾国藩知道他是装病多睡，所以几次派人请李鸿章起来一起吃饭，最后告诉李鸿章必须所有幕僚全都到齐才开饭，李鸿章匆忙披衣“踉跄前往”。曾国藩吃饭时一言不发，饭后严肃地教训他说：“少荃，既入我幕，我有言相告，此处所尚，唯一‘诚’字而已。”说罢生气地拂袖而去，李鸿章“为之悚然”。曾国藩素知李鸿章“才气不羁”，故对他要求格外严格，尽力雕琢，陶冶其性情，培养其道德。许多年后，李鸿章对人回忆说：“在营中时，我老师总要等我辈大家同时吃饭；饭罢后，即围坐谈论，证经论史，娓娓不倦，都是于学问经济有益实用的话。吃一顿饭，胜过上一回课。”
李鸿章入幕不及一旬，曾国藩就决定请他主持编练皖北马队，附于湘军。编练马队之举，发轫于左宗棠的提议。左宗棠（字季高）是湖南湘阴人，举人出身，初入湖南巡抚骆秉璋幕，后来成为湘军首领之一。曾国藩就左氏提议同胡林翼协商。胡林翼［字贶（kuàng）生，号润芝，道光进士］时任湖北巡抚，为湘军二号首领。胡氏支持编练马队，曾国藩随即上疏清政府，慷慨陈词。曾国藩所以力主编练皖北马队，是鉴于太平军和捻军的骑兵“多而且悍”，湘军陆军如无马队配合，难以制胜。他通报左宗棠：“阁下去年嘱弟留心马队，弟以调察哈尔之马练淮南之勇人奏。”他原拟调察哈尔马三千匹，令李鸿章招募亳州一带“善马之勇”千人。清政府对曾国藩编练马队持肯定的态度，但又下令“斟酌采买”马匹。根据朝廷的命令，曾国藩修改了募勇计划，决定先招五百，试行操练，如其可用，再行续招三千。李鸿章虽然承认编练马队确系当务之急，但却深感事体重大，缺少经验，胜败难卜，考虑再三，未敢轻许。李鸿章专程前往南昌与哥哥相商。李瀚章赞成其弟意见，致函曾国藩，代为辞谢。曾国藩坚持既定方针，写信劝勉李氏兄弟“不必遽以往事之难为虑”。话已至此，李鸿章只得应命，派“专人至淮上招募马勇”。然而当时两淮地区太平军和捻军协同作战，声势较壮，清军处于被动挨打的地位。动荡的局势，人心的向背，迫使招勇之人空手而归。这样，曾国藩建立马队的计划就流产了。
6月，早已移驻抚州的曾国藩，鉴于太平军猛攻景德镇，担心湘军张运兰部不支，急派曾国荃率部往授，并命李鸿章同往。曾国荃（字沅浦）是曾国藩胞弟，所部为曾国藩嫡系。李鸿章心高气盛，希望独统一军，不愿寄人篱下，心情郁郁，有意他去。曾国藩赏识李鸿章之才而不满其虚骄之气，于是一面借用上方宝剑阻其去路，疏留说：李鸿章“久历戎行，文武兼资，堪以留营襄办”；一面对其晓之以理，诱之以利，说“阁下闳才远志，自是匡济令器”，“倘为四方诸侯按图求索，不南之粤，则东之吴，北之齐豫耳。”李鸿章既不敢抗旨，又感戴其师“荐援”之恩，因而决计前往。
就在这个时候，湖广总督官文根据胡林翼之请而提出的命曾国藩入川防堵石达开部太平军挺进四川的建议被清政府批准了。
太平天国“上下夹攻，南北合击”的战略决策让清政府头疼不已。1860年初，清政府根据当前战事，命令江南大营和湘军分别围困天京和“进攻安庆，分捣桐城”。太平军则采取了先救天京、后保安庆的方针。是年5月，李秀成、陈玉成联军一举击溃江南大营，随即挥军东指，挺进苏杭。江南北大营本来是咸丰与曾国藩矛盾的产物。咸丰帝的如意算盘是：既要依靠曾国藩对抗太平军，又不肯给他以军政实权。咸丰的计划是湘军出力，江南北大营收功。江南北大营的相继覆灭，使咸丰的幻想彻底落空。咸丰不得不全力依靠曾国藩来支撑危局，于6月初给他兵部尚书衔、署理两江总督的军政实权。8月实授两江总督。此间，曾国藩曾奏保李鸿章为两淮盐运使，黄翼升为淮扬镇总兵，筹办淮扬水师。对于曾国藩的奏请，清政府并没有全部恩准，只任命黄翼升为淮扬镇总兵，没有授予李鸿章两淮盐运使一职。李鸿章吃了一记闷棍，抑郁寡欢，暗自嗟叹，只得继续留在曾氏幕中。
分道扬镳
李鸿章出任两淮盐运使的美梦没有实现，太平军为了挽救安庆，他们对上游的湘军发动了声势浩大的钳形攻势，分兵南北两路，沿江西上，“合取湖北”，准备在武汉会师。这次攻势确实打中了曾国藩的要害。因为当时在安庆及其周围地区集结了曾国藩的湘军主力，以武汉为中心的湖北防务非常空虚。然而湖北却是湘军的战略基地，武汉尤为全局根本。太平军“合取湖北”，把战火引向敌人后方，避敌主力，打其虚弱，攻其必救，既可解安庆之围，又能歼灭湘军主力。太平军的这一策略让曾国藩胆战心惊，他立即采取应变之策，决意不撤皖围之兵以援鄂，反而督军猛攻安庆，企图迫使太平军尽快地从上游回顾下游，并进行决战。他把所谓旋转乾坤的赌注，全押在安庆围点打援上面了。南路西征太平军路经皖南时，曾经攻占宁国、徽州等地，并“环绕祁门作大围包抄之势”，致使坐困祁门的曾国藩“日在惊涛骇浪之中”。
这时曾国藩除了招致太平军的环攻外，还遇到北上“勤王”和祁门内讧两个棘手的问题。1856年，英法联军发动侵华战争，即第二次鸦片战争。1860年9月，英法联军攻占天津，直逼北京城下。咸丰皇帝在逃往热河途中命孤驻祁门的曾国藩派湘军精锐鲍超部北上救援。接到命令后，曾国藩左右为难，举棋不定。因为北上“勤王”责无旁贷，无可推诿，但他又想留下鲍超所部对抗太平军；如不北上护主，将被责为天下罪人。但此时正是剿杀太平军的关键时刻，一旦抽掉精锐，于战局大有影响，而且这时正值徽州失守、祁门危急之时。曾国藩急得几个晚上不能入眠，于是令下属每人提一种方案，结果几乎都主张北上“勤王”，但只有李鸿章力排众议，不同意调兵北上。李鸿章认为英法联军已在北京城下，破城而入只是朝夕之事，调兵北上保卫京城已毫无意义；而且英法联军侵略最终将“金帛议和”了事，危及大清社稷的不是英法联军，而是造反的太平军。
李鸿章比清政府更早看出这一点，眼光确非寻常。他进一步论述湘军镇压太平军是关系“天下安危”之事，对北上驰援应“按兵请旨”，静观局势变化。经过仔细权衡，曾认为李说的确有道理，于是采用此议。他上疏朝廷表示愿意北上，但提出鲍超人生地不熟“断不能至”，所以请朝廷在胡林翼和自己之间“酌派一人进京护卫根本”，其实是在拖延时间，因为往返奏报大约需要一个月的时间。果然不出所料，不久就接到“和议”已成，不必北援的命令。此事使曾国藩对李鸿章更加器重。李鸿章对曾国藩虽以师相待，但他毕竟是极有主见之人，经常因固执己见而时有冲突，李鸿章有几次想离曾国藩而去。1860年，曾国藩升任两江总督，并决定将大营迁往安徽祁门时，李鸿章认为祁门地势如同“釜底”，没有进退余地，从战略上看，移营至此十分危险。在太平军攻击下，的确险情不断，李鸿章等人一再要求移师他处。而曾国藩坚持己见，甚至对李鸿章等人说：“诸君如胆怯，可各散去”。
不久，双方又因李元度事件矛盾再起，更加尖锐，终导致李鸿章负气出走。李元度（字次青）是曾国藩“辛苦久从之将”，曾国藩在靖港、九江和樟树镇败绩后的艰难岁月中，曾经得到李元度的有力支持。曾国藩自称与李元度的“情谊之厚始终不渝”。李元度擅长文学而不知兵，只因曾国藩私情荐举，才升任徽宁池太广道，领兵驻防徽州。当太平军李侍贤部来攻时，李元度违反曾国藩坚壁自守的指令，出城接仗，一触即溃，徽州易手。李元度徘徊浙赣边境，经久不归，后来虽然回到祁门，但不久又私自离去。曾国藩悔恨交加，决定具疏劾之，以申军纪。曾国藩此举本来无可厚非，但文武参佐却群起反对，指责他忘恩负义。李鸿章“乃率一幕人往争”，声称“果必奏劾，门生不敢拟稿。”曾国藩说：“我自属稿”。李鸿章表示：“若此则门生亦将告辞，不能留侍矣。”曾国藩生气地说：“听君之便”。10月25日，曾国藩在日记中写道：“日内因徽州之败，深恶次青，而又见同人多不明大义，不达事理，抑郁不平，遂不能作一事。”从曾国藩手书日记原稿看，曾国藩在“而”与“又见”之间圈掉“少荃”二字，他的原意可能要写“少荃不明大义，不达事理”。其实，曾国藩对李鸿章的批评是切中要害的。李鸿章鉴于自己意见被拒和祁门奇险万状形势，便愤然辞幕，离开祁门，打算返回南昌哥哥家中。
不计前嫌，再度联手
李鸿章一怒之下愤然离开曾国藩幕府，回到南昌他哥哥家中闲住了一年之久。此事使曾国藩大为恼火，认为李鸿章不明大义，不达事理，在自己困难时借故离去，得出“此君难与共患难”之结论。此事也使李鸿章愤怒异常，他对人说自己原认为曾国藩为豪杰之士，能容纳不同意见、各种人物，“今乃知非也”。
李鸿章回到老家之后，因为局势恶劣，他发现自己竟然走投无路了。他想去福建补缺，可是他在福建的朋友沈葆桢劝他不要去，说福建政事“糜烂”。李鸿章走后，曾、李二人并没有中断友情，仍有书信往来。胡林翼在二人之间做了很多调解的工作。而且，曾国藩切实地感到身边少了李鸿章，犹如少了左膀右臂，不禁又想起李鸿章的种种好处来。特别是祁门果然遇到了大麻烦。此外，身为曾、李二人好友的郭嵩焘闻知李鸿章出走，给李鸿章写信说：当今之下，能依靠个人力量崛起是非常艰难的，只有依靠可以信赖的人。你应当心胸宽阔，以功名为重，还是重新回到曾国藩身边为好。
李鸿章本来就很后悔自己的负气行为，看到好友如此劝说，不觉感叹郭嵩焘的远见卓识。在李鸿章成为显赫的大人物之后，唯有和郭嵩焘之间的友情最是真正的“君子之交”。郭嵩焘没有派系成见，独往独来，眼光深远，“能言他人所不能、所不敢、所不知之言”。一身兼具新学和旧学的两大本领，却长期背负着“独醒之累”，犹如楚大夫屈原，很难得到世人的理解和认识，是一个孤独的前行者。
此时，曾国藩也给李鸿章写信，恳切邀请他回来。1861年7月，李鸿章又回到曾国藩的大营，二人又开始了密切的合作。
从此以后，李鸿章忠心师事曾国藩，在老师的言传身教下，在个人修养及政治上都得到了曾国藩的着意栽培和极尽熏陶。