经过一段时间的精心筹备，至咸丰四年（1854年）初，曾国藩将湘军水师船炮准备齐整，总计有大小战船361号，其中拖罟船1号，快蟹船40号，长龙船50号，舢板150号，战船120号。并装备了大小炮470门，其中购置洋庄炮320门，从广西借来的150门。
湘军水师的营制略同于陆军，初期425人为一营，后改为500人为一营，共计十营，营官分别由褚汝航、夏銮、胡嘉垣、胡作霖、成名标、诸殿云、杨载福、彭玉麟、邹汉章、龙献深来担任。水师营制的具体办法是：
“凡水师，每营营官一员，每船哨官一员，初制营官领快蟹船一支，各哨官分领长龙船一只，舢板船十只，合二十一船为一营。快蟹船桨手二十八人，橹工八人，舱长一人，头工一人，舵工一人，炮手六人，共四十五人。长龙船桨手十六人，橹工四人，头工一人，舵工一人，炮手二人，共二十四人。舢板船桨手十人，头工一人，舵工一人，炮手二人，共十四人。一营共四百二十五人。至咸丰五、六年（1855-1856年）间，裁快蟹船，减长龙船为八只，增舢板船为二十二只，合三十船为一营，每营共五百人。营官、哨官都在外”.
曾国藩经过一番艰苦努力，终于搞起一支在技术与装备上大大超过太平军的内河水师。
曾国藩的兵制改革，不但是清代历史上的一件大事，也是我国从“五帝行教，兵由是兴”以来的军事制度史上的一件大事。这次兵制改革，是由太平军的强大，而绿营不堪一用这样的情势所“逼”出来的，也就是说，它顺应了时代的要求。加上曾国藩对兵制改革进行了精心设计，因而它的成功，被湘军使拥有五十七、八万人的绿营相形见绌和太平军最后被镇压下去这样两个铁的事实所证明，从而造成了所谓“同治中兴”.同治八年五月和八月，曾国藩不无自豪地两次向朝廷上《遵旨筹议直隶练军事宜折》、《遵旨续议直隶试办练军事宜折》，是他对兵制改革所进行的总结。
7.靠思想教育破“心中之贼”
面对纪律严整、作风优良的太平军，曾国藩深知必须从精神上唤起兵勇之自觉，始能对抗太平军。曾国藩将湘军的训练分为训练与操练两种，而以训教为根本，特别注重思想性的教育。曾国藩在所著的《劝训练以御寇》中写到：
禁嫖赌，戒游惰，慎言语，敬尊长，此父兄教子弟之家规也。为营官者，待兵勇如子弟，使人人学好，个个成名，则众勇感之矣。
曾国藩以理学家的身份创立湘军，为此他十分重视义理之教在湘军中的作用。王守仁曾说过“破山中之贼易，破心中之贼难”的话，曾国藩遂将此一思想运用于治军上，则可理解为，重视“操练”就是“破山中之贼”的功夫；“训教”则是“破心中之贼”的功夫。因为“破心中之贼”难，所以对于训练必须下苦功夫。如何训教，曾国藩将其分为两个方面，即官兵与兵民。在官兵方面，他强调以义理来带兵。他指出：“带勇之法，用恩莫如用仁，用威莫如有礼。仁者，即所谓欲立立人，欲达达人也。待弁勇如待子弟之心，常望其成立，望其发达，则人知恩矣。礼者，即所谓无众寡，无大小，无敢慢，泰而不骄也。正其衣冠，尊其瞻礼，伊然人望而畏之，威而不猛也。持之以敬，临之以庄，无形无声之际，常有懔然难犯之象，则人知威矣。守此二者，虽蛮貊之邦行矣，何兵勇之不可治哉！”在湘军中，倡导将领以父兄般对待教导士兵，士兵也就视将领为父兄，加之湘军中客观存在的亲党邻里的血缘和地缘关系，每每在训教后，均收到勇丁感动得五体投地的效果。
曾国藩十分重视湘军的纪律教育，力争以湘军形象改变老百姓心目中“兵不如匪”的看法。曾国藩说：“恐民心一去，不可挽回，誓欲练成一旅，秋毫无犯，以挽民心而塞民口，每逢三八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓。自四月以后，间令塔将传唤营官，一同操演，亦不过令弁委前来，听我教语。每决与诸弁兵讲说至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。……国藩之为此，盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫天纪律之态”.目的在于，要在精神上唤起兵勇的自觉，以对抗太平军。曾国藩苦口婆心，开诚布公，劝导士兵严守纪律，爱护百姓。他亲自创作了一首《爱民歌》，歌词是：
三军个个仔细听，行军先要爱百姓。
贼匪害了百姓们，全靠官兵来救人。
百姓被贼吃了苦，全靠官兵来作主。
第一扎营不贪懒，莫走人家取门板。
莫拆民房搬砖头，莫踹禾苗坏田产。
莫打民间鸭和鸡，莫借民间锅和碗。
莫派民夫来挖壕，莫到民家去打馆。
筑墙莫拦街前路，砍柴莫破墙上树。
挑水莫挑有鱼塘，凡事都要让一步。
第二行路要端详，夜夜总要走帐房。
莫进城市占铺店，莫向乡间借村庄。
人有小事莫喧哗，人不躲路莫挤他。
无钱莫扯道边菜，无钱莫吃便宜茶。
更有一句紧要书，切莫掳人当长夫。
一人被掳挑担去，一家嚎哭不安居。
娘哭子来眼也肿，妻哭夫来泪也枯。
从中地保又讹钱，分派各团与各部。
鸡飞狗走都吓倒，塘里吓死几条鱼。
第三号令要严明，兵勇不许乱出营。
走出营来就学坏，总是百姓来受害。
或走大家讹钱文，或走小家调妇女。
邀些地痞做伙伴，买些烧酒同喝醉。
逢着百姓就要打，遇着店家就发气。
可怜百姓打出血，吃了大亏不敢说。
生性老将不自在，这要出钱去赔罪。
要得百姓稍安静，先要兵勇听号令。
陆军不许乱出营，水军不许岸上行。
在家皆是做良民，出来当兵也是人。
官兵贼匪本不同，官兵是人贼是禽。
官兵不抢贼匪抢，官兵不淫贼匪淫。
若是官兵也淫抢，便同贼匪一条心。
官兵与贼不分明，到处传出丑名声。
百姓听得就心酸，上司听得皱眉尖。
上司不肯发粮饷，百姓不肯买米盐。
爱民之军处处喜，扰民之军处处嫌。
我的军士跟我走，多年在外名声好。
如今百姓更穷困，愿我士兵听教训。
军士与民共一家，千记不可欺负他。
日日熟唱爱民歌，天和地和人又和。
这首《爱民歌》是借用白话诗的体裁，亦即当时最流行的莲花落歌词，深入浅出，富于情趣，又朗朗上口。这同时又是湘军士兵的识字课本，曾国藩每日里在训教的过程中，只教一、二句，先识字，后理会其内涵，循环往复，身体力行，使湘军成为一支有思想指导的军队。曾国藩这种精神训练方法，抛开其目的，仅从其治兵之道来看，是值得称道的。
曾国藩还亲自为湘军制定营规律条，对扎营、开仗、行路、守夜、军器等做了明确的规定。同时，赏罚分明，鼓励士兵勇敢作战。《晓谕新募乡勇》中有如下条文：
--临阵有能杀贼一名者，功赏银十两，并赏八品军功。
--杀贼二名者，功赏银二十两，并赏六品军功。
--杀贼三名以上者，除功赏银三十两外，随即奏请发营，以千把总补用。
--拿获长发贼，每名赏银二十两；短发贼，每名赏银十五两。
--拿获贼马一匹，即以其马充赏，如不愿要马，将马缴呈，赏银十两。
--抢获火药，每桶赏银五两。
--抢获铅子，每桶赏银三两。
--抢获火炮一尊，赏银十两；小炮一尊，五两。
--抢获鸟铳一杆，赏银三两。
--抢获刀、矛、旗帜，每件赏银二两。
--打仗奋勇当先，虽未得功，亦随时酌给赏号；落后者不赏。如以己物诈功冒赏者，查出捆责四十棍，革除；临阵退缩者，斩杀；假冒功者，枭首示众。
--打仗阵亡者，照营制赐恤银五十两，烧埋银十两。
--伤分三等：头等赏银三十两，二等赏银二十两，三等赏银十两。
--临阵回身，伤在背后，不赏。
--诈伤冒功者，查出捆责四十棍，革除。
有了编练一新的湘军陆师和水师，又有了严格的训练和纪律，但这些还不足以抵抗有主义有组织的太平军。曾国藩凭借其修身、治学的一套“明理”工夫，以儒教带兵，倡忠义气节，在凝聚湘军的同时，展开对太平军的攻心战。
8.攻心为上，一纸檄文可抵十万兵
军队鼓动工作，最主要的是心战，振奋士气，靠心战；瓦解敌人，靠心战；争取民心，靠心战。曾国藩便是一个心战圣手，湘军的宣传品在当时发生了意想不到的效力。曾国藩是在咸丰三年（1853年）8月奉命帮办本省团务的。他一共训练了陆军十三营，分别以塔齐布、周凤山、储政躬、林源恩、邵兴琦、杨名声、曾国葆等人统领；水师十营，分别以成名标、诸殿元、杨载福、彭玉麟、邵汉章、庞献深等人统领。当咸丰四年正月间，太平军西征，打下了黄州（今湖北黄冈），乘胜溯江而上，占领了岳州（今湖南岳阳）、湘阴。清廷急诏曾国藩出兵进剿。曾国藩也毅然出征，随即派塔齐布为先锋，由衡州（今衡阳）北上迎战。
在出兵之前，曾国藩发表了一篇《讨粤贼檄》：
为传檄事，逆贼洪秀全、杨秀清称乱以来，于今五年矣。荼毒生灵数百余万，蹂躏州县五千余里。所过之境，船只无论大小，人民无论贫富，一概抢掠罄尽，寸草不留。其掳入贼中者，剥取衣服，搜括银钱，银满五两而不献贼者，即行斩首。男子日给米一合，驱之临阵向前，驱之筑城浚濠；妇人日给米一合，驱之登陴守夜，驱之运米挑煤。妇女而不肯解脚者，则立斩其足，以示众妇；船户而阴谋逃归者，则倒抬其尸，以示众船。粤匪自处于安富尊荣，而视我两湖三江被胁之人，曾犬豕牛马之不若！此其残忍残酷，凡有血气者，未有闻之而不痛憾者也。自唐虞三代以来，历世圣人，扶持名教，敦叙人伦，君臣父子，上下尊卑，秩然如冠履之不可倒置。粤匪窃外夷之绪，崇天主之教，自其伪君伪相，下逮兵卒贱役，皆以兄弟称之，谓惟天可称父，此外凡民之父，皆兄弟也，凡民之母，皆姊妹也。农不能自耕以纳赋，而谓田皆天王之田；商不能自贾以取息，而谓货皆天王之货；士不能诵孔子之经，而别有所谓耶稣之说，新约之书，举中国数千年礼义人伦，诗书典则，一起扫地荡尽。此岂独我大清之变，乃开辟以来，名教之奇变！我孔子孟子之所痛哭于九泉，凡读书识字者，又乌可袖手安坐，不思一为之所也！自古生有功德，没则为神。王道治明，神道治幽，虽乱臣贼子，穷凶极丑，亦往往敬畏神礻氐：李自成至曲阜，不犯圣庙，张献忠至梓潼，亦祭文昌。粤匪焚郴州之学宫，毁宣圣之木主。十哲两庑，狼藉满地，嗣是所过郡县，先毁庙宇，即忠臣义士，如关帝岳王之凛凛，亦皆污其宫室，残其身首；以至佛寺道院，城隍社坛，无庙不焚，无像不灭，斯又鬼神所共愤怒，欲一雪此憾于冥冥之中者也。本部堂奉天子之命，统师二万，水陆并进，誓将卧薪尝胆，殄此凶逆，救我被掳之船只，拔出被胁之民人，不特纾君父宵盱之勤劳，而且慰孔孟人伦之隐痛！不特为百万生灵报枉杀之仇，而且为上下神礻氐雪被辱之憾！是用传檄远近，咸使闻知。倘有血性男子，号召义旅，助我征剿者，本部堂引为心腹，酌给口粮；倘有抱道君子，痛天主教之横行中原，赫然奋怒，以卫吾道者，本部堂礼之幕府，待以宾师；倘有仗义仁人，捐银助饷者，千金以内，给予实收部照，千金以上，专折奏请优叙；有人陷贼中，自拔来归，杀其头目，以城来降者，本部堂收之帐下，奏授官爵；倘有被胁经年，发长数寸，临阵弃械，徒手归诚者，一概免死，资道回籍。在昔汉唐元明之末，群盗如毛，皆由主昏政乱，莫能削平，今天子忧勤惕厉，敬天恤民，田不加赋，户不抽丁，以列圣深厚之仁，计暴虐无赖之蒇，无论迟速，终归灭亡，不待智者而明矣。若尔被胁之，甘心从逆，抗拒天诛，大兵一压，玉石俱焚，亦不能更为分别也。本部堂德薄能鲜，独仗忠信二字，为行军之本，上有日月，下有鬼神，明有浩浩长江之水，幽有前此殉难各忠臣烈士之魂，实鉴吾心，咸听吾言，檄到如律令，无忽！
曾国藩这篇檄文，共有四段。
第一段暴露洪杨的“残忍残酷”,贻祸人民；
第二段揭发他们背弃名教，毁灭人伦；
第三段指责他们侮慢神礻氐，污蔑圣贤忠义之士，野蛮无理，假借异端邪说，摧毁固有文化；
第四段劝人作“顺逆”的辩解，一致奋起保国救家。
太平军以上帝教相号召，曾国藩乃搬出孔子、孟子、关帝、岳飞、城隍土地、和尚道士，一切的中国神来抵抗这一外来的西洋神。因为上帝教要破坏中国的传统文化，曾国藩乃搬出这些神以与之抗争。尤其孔子、孟子、关帝、岳飞，对于中国读书人和农民，影响力极大。
因此，这一篇《讨粤贼檄》，收功至大，其重要性实较爱民歌犹有过之。曾国藩读通经史百家之书，常将《讨粤贼檄》，向将领详加剖析，必令背诵讲解而后己。因此湘军将领，无形中也做了一个宣传员。
这是一篇很有力量的宣传文字，凡是邻近湖南的各省州县，无不首先奉到，一致传诵。湖南的读书人，首先脱掉长衫，率领许多黑脚杆的农夫，都跑到湘军旗帜之下，从事抵抗太平天国运动。
所以有人说曾国藩这一纸檄文，可抵得十万雄兵。
9.兵非贵速，惟稳慎用兵为主
两军对垒，有如弈棋。曾国藩曾说：“善弈棋者，常于棋危劫急之时，一面自救，一面破敌，往往因病成妍，转败为功。善用兵者亦然。”既要自救，又要破敌，曾国藩的方针是着着稳慎，下稳慎棋。咸丰七年（1857年），曾国荃刚刚组建吉字营攻打吉安时，曾国藩针对他的出山之犊的心境，一再劝告他：“到吉安后，专为自守考虑，不为攻城之计”,“不好小利，不求速效”,“不求近功速效”.同治元年三、四月间，业已攻占了安庆的湘军，夹江而下，连克数城。刚刚获得浙江按察使衔的曾国荃率部渡过长江，于五月初进抵周村，距金陵只四十里。太平军在天京上游，可说已是兵败如山倒。曾国藩接到这一连串战报，又喜又惧，连连写信给曾贞干说：“沅弟进兵，嫌太速。我深感忧虑。”根据曾国藩当时设想，围攻金陵，须多路进击，才可收到南北夹击的效果。但北岸多隆阿部不愿与曾国荃合作，长江中的水师统领彭雪琴又与曾国荃“嫌隙已深，难遽期其水乳”.曾国荃孤军深入，自置于危地，曾国藩的忧虑是有根据的。他告诉曾国荃说：“弟此次进兵太快，不特我不放心，其他的人也都替你担心。”后来曾国荃打退了李秀成赴援天京的大军，在雨花台立定了脚跟，并且已经合围金陵，取得一些重大突破，甚至连向朝廷报告攻克金陵的奏稿款式，曾国藩也已为曾国荃设计好了，写信通知了他。就是在这种情况下，曾国藩还于同治二年（1863年）十一月起至同治三年四月初五日中，五次告诫曾国荃道：“望弟不贪功之速成，但求事之稳适。”“专在‘稳慎’二字上用心。”“务望老弟不求奇功，但求稳着。至嘱！至嘱！”其实，只过了一个多月，金陵就被湘军占领。曾国藩在临胜前的这些叮咛，固是针对急功贪利的曾国荃的一剂攻心药，同时也说明，“稳慎”在曾国藩的战略思想中是一以贯之的。他称赞萧启江道：“阁下一军，向以‘坚稳’二字著名。”咸丰十年正月，当湘军正在迅速进军时，他写信给胡林翼说：“十一日全军获胜后，罗溪河实已无虞。山内一军，其妙无穷；脑后一针，百病皆除。但此后仍当以‘稳’字为主，不可过求速效。”