到1864年，淮河以南各省的主要行政领导、军事首脑都是湘军集团人员担任。湘军遍及江苏、江西、安徽、福建、浙江、广东、广西、河南、山东、贵州、四川、湖南、湖北等省，“长江三千里，几无一船不张鄙人之旗帜，外间疑弊处兵权过重，权力过大，盖谓四省厘金，络绎输送，各处兵将，一呼百诺，其相疑者良非无因。”湘军的几支主力部队，包括曾国荃军、李鸿章军、左宗棠军、李续宜军，都是历经百战，百战百胜之师。卧榻之侧，岂容他人鼾睡。这样一支军队、一个集团的存在，对清廷的潜在危险有多大，明眼人一看便知道。所以，清政府担心、害怕是很正常的，要采取措施打碎这个集团、裁退这支军队也是非常正常的。
清朝当政者明白，湘军是可以通过努力得以驾驭与控制的，其潜在的危险是可以消除的。驾驭与控制湘军，主要的办法就是打压曾国藩，让曾国藩感到危机的存在，不要产生二心，并通过他去控制湘军。曾国藩深通中国古代历史，对清朝的这点心思是知晓清楚的。就他的个性来讲，也不是一个会造反的人，因此，他的主要的博弈还是用在如何呵护湘军集团的安全之上，确保湘军顺利完成大业，并且让集团的获益者继续获益下去。
维护湘军团结
维护湘军的团结，确保湘军部分裂，是曾国藩始终坚持的基本原则。对于分裂湘军的行为，曾国藩是坚决打击、毫不留情的。
李元度跟随曾国藩最久，两人相知相交相惜，曾国藩对他有三不忘之情。他说：
足下当靖港败后，宛转护持，入则欢愉相对，出则雪涕呜愤，一不忘也。九江败后，特立一军，初志专在护卫水师，保全根本，二不忘也。樟树镇败后，鄙人部下别无陆军，赖台端支持东路隐然巨镇，力撑绝续之交，以待楚援之至，三不忘也。生也有涯，知也无涯，此六不忘者（另三不忘是指对彭玉麟），鄙人盖有无涯之感，不随有生以俱尽。
在写给李元度母亲的信中，曾国藩又诚挚地谈到：
次青于我情谊之厚，始终不渝。岳州之败，星驰来赴。靖港之挫，从人皆散，次青追随贱躯，不离左右，出则呜咽鸣愤，入则强颜相慰。浔郡之败，次青耻之。恨贴身尚无劲旅，亟欲招勇，自行训练，以护卫国藩之身。斯斯二者，皆国藩所镂骨铭心者也。
从这里我们可以看出，曾国藩对李元度感情的深刻。这种深刻的感情，来自他们长期共患难的战斗情谊。靖港之败后，曾国藩跳水自杀，是李元度安排跟随保护的章寿麟将其救起，并且坚持上奏朝廷，获得了单衔专奏的权力。岳州、靖港、湖口三次失败后，很多人抛弃曾国藩而去，只有李元度不离不弃，而且不断做他的工作，使他从气馁、挫折、悲观、失望的阴影中走出来。后来又招募一支平江勇，听从他的调遣。1856年，曾国藩能够调度的军队就只有李元度的了。
然而，就是这样一位关系深厚的好友、同乡、战友，当他的行为有可能分裂湘军的时候，曾国藩手下也是毫不留情。
咸丰八年(1858)二月，湖北巡抚胡林翼奏请李元度带兵入浙，这是湘系势力渗透入浙的开始。曾国藩复出后，保荐李元度升按察使，获巴图鲁勇号。咸丰十年(1860)四月，清政府命令李元度赴浙交巡抚王有龄差遣委用。王有龄企图分化湘军，想拉拢李元度，推荐他担任浙江温处道道员。李元度以所部平江勇三千交浙江提督饶廷选统率，自己回湖南另行招募平江勇。但李元度没有识破王的阴谋。五月，曾国藩上奏朝廷，要求朝廷同意李元度回家招募3000人，驻扎在广信、玉山、衢州一带。七月十二，曾国藩保荐李元度任皖南道。这应该是维护湘军团结有力的一着棋，可以迅速将李从王处拉回来。李元度来皖后，曾国藩安排他去守徽州，临行前，曾国藩赠他五戒：
是日次青赴徽州，余与之约法五章：曰戒浮，谓不用文人之好大言者；曰戒过谦，谓次青好为逾恒之谦，启宠纳侮也；曰戒滥，谓银钱、保举宜有限制也；曰戒反复，谓次青好朝令夕改也；曰戒私，谓用人当为官择人，不为人择官也。
从这五戒可以看出，曾国藩对李元度寄予了厚望，也希望他能够改变过去错误的做法。然而，李元度到徽州后，不守城池，不维修城池，不到一昼夜，徽州尽失，下落不明，既不回大营，也没有给曾国藩任何消息。曾国藩十分气愤，上疏弹劾李元度，李元度因此被革职。这次参劾李元度，揣摩曾国藩的心思，主要有三个原因：一是恨其受王有龄等拉拢；二是恨其不成才，有挥泪斩马谡之意；三是军纪不容，任何一个打败仗的军队的首领都要受到不同程度的处罚。
这给了王有龄可趁之机，王再一次拉拢他。咸丰十一年一月，王有龄上奏请调李元度援浙，“诏如所请。”对于李元度的失败，清廷是怀着包容的心态的，在二月的上谕中要求“曾国藩饬令前赴浙江，交瑞昌、王有龄差遣委用”，不久官文等具奏，又赏还着赏加布政使衔；接着清廷又下旨“李元度着赏加布政使衔，其徽州失守之案，应否免其查办，仍着曾国藩酌核具奏等因。”从这里可以看出，李元度其实已经成为一颗分裂湘军的棋子。李元度“自徽州获咎以后，不候讯结，而擅自回籍；不候批禀，而径自赴浙”，胆子这么大，恐怕也不是没有法制观念的原因，而是心中有所依恃。这一依恃，就是朝廷对他的态度，何桂清、王有龄对他的支持，这也是曾国藩必须继续参劾他的根本原因。
同治元年正月，朝廷任命李元度为浙江按察使。2月9日，曾国藩接到朝廷任命通知，22日再一次参劾李元度。弹章中有 “该员前既负臣，后又负王有龄”这样的话。曾国藩为什么要那么严厉的参劾他？原因就是他辜负了曾国藩的期望，背离了湘军这一团结性很强的组织，走到自己的政敌阵营中去了。过去李元度的军队叫做“平江勇”，现在叫做“安越军”，平江勇打的是湘军的旗号，而安越军打得却是何桂清、王有龄的旗号了。为什么他又要说“后又负王有龄”呢？因为朝廷知道，李元度已经倾向于王有龄，成为打压曾国藩的一颗棋子，曾国藩说他有负王有龄，就是说李元度是一个反复的小人，不可使用，以堵朝廷的嘴巴，使清廷不再重用于他。这样才能够彻底打消清廷依赖李元度分裂湘军的做法。
脱离湘军系统，而另谋发展，在曾国藩为首的湘军集团是不能容忍的，这从对另外几个人的态度也可以看出。陈至立是鲍超手下的一个营官，感觉在鲍超手下没有什么发展前途，离开鲍超到河南去某发展。曾国藩硬是将他参倒押回处理。当时给陈说好话的很多，但曾国藩一直态度端严，没有松口，直到交给鲍超。周凤山本来在塔齐布手下做副将，塔齐布死后，他负责塔军，但是连续打了三个大的败仗，被革职。1861年12月，河南巡抚严树森奏调周凤山招旧部3000人赴河南。周到河南后，派遣刘江清到湖南招勇，可能是刘态度不好，遭到湖南巡抚毛鸿宾的严厉参劾。毛是曾国藩一手提拔起来的，是曾国藩的死党，自然是一心一意维护湘军的集团利益的。他参劾周凤山是败军之将，在江西一败再败，没有独当一面的才能。指责他用人不当、识人不明，所用刘江清包养情妇、在职做生意、横蛮冲卡，官德恶劣。批评河南官员，用人不明，对河南居天下之中的重要地理位置的意义认识不够，有误大局之嫌。毛鸿宾的这种指控不仅越俎代庖，而且小题大做。他之所以这样指控周凤山，根本原因还是他脱离了湘军集团，另谋发展，不利于集团的团结、稳定。
曾李双簧应对朝廷
对太平军的战争中，各个战场都可以立功，但是最大的功劳应该是攻克南京，摧毁太平天国的国都，铲除洪秀全等国家首领。曾国荃像是一只老练的猎狗，在金陵城边坚守了2年。到1854年5月，大功即将告成。这个时候，朝廷要求李鸿章赴金陵会剿，其用意非常深刻，一方面，金陵周边的几个主要城市苏州、常州、杭州相继攻克，迅速攻下金陵是重要的战略部署，也是朝野的巨大希望，不能再拖；另一方面，李鸿章是的学生，安排他来摘桃子，可以起到离间师生关系的作用，让李鸿章在金陵战役中分得一杯羹，以此平衡两人的力量，减轻曾国藩的重量。为了掩盖这一意图，朝廷在上谕中强调大局问题，说：
曾国藩身为统帅，全局在胸，尤当督同李鸿章、曾国荃、彭玉麟和衷共济，速竟全功，扫穴擒渠，同膺懋赏，总以大局为重，不可稍存畛域之见。
以此封曾国藩的嘴巴。清廷自然也知道李鸿章与曾国藩的关系，要他去南京会剿抢夺曾国荃的功劳，他是一定不会去的，所以谕旨中特别提到“李鸿章岂能坐视？”要他“相机进取”。同时，朝廷也考虑到，曾国荃坚守金陵这么多年，现在功在垂成，要李鸿章过去帮忙，以分享他的功劳，心里一定会有看法，会不高兴，会有抵触情绪。因此，要求曾国藩“总以大局为重，不可稍存畛域之见”。如果李鸿章真的去会剿，则结果可能就会造成湘军分裂的倾向。对朝廷的这着棋，曾李都看的很清楚。两人上演了一曲精彩的双簧，双方互给足了面子，也给了朝廷一个很好的交代，达到了维护湘军安全的目的。
曾国藩重点做了三件事：
第一，向朝廷保证，欢迎李鸿章会剿。他5月22日上奏《遵旨统筹会剿金陵摺》，折中谈到自己因为李鸿章是封疆大臣，又值劳苦之际，不敢要求他来帮忙，又说曾国荃战斗非常激烈残酷，“焦劳致疾，饮食渐减，身发湿毒，不便起坐，饷项奇窘，尤为可虑”，因此希望李鸿章来。在这封奏折里，曾国藩还解释说：