曾国藩认为，随着清朝建国日久，曾经辉煌的八旗兵和绿营兵已经丧失了战斗力，因此，要想打败气势正盛的太平军，就必须建立一支新的能打仗的军队。一八五二年十二月，曾国藩奉旨到长沙操办团练，就想到要逐步建立一支真正的军队，他下决心破除旧军队陋习，改弦更张，创建起一支诸将一心、万众一气的新型军队来。曾国藩在奉旨办团练时，各省先后都在办团练，但唯独湖南一省最为成功，并且其规模逐渐扩大，最终成为一支拥有极强战斗力的军队。这支队伍有很多特别的地方。
首先，湘军是书生和农夫的结合体。它的将领，大多是书生。书生长期受孔孟思想熏陶，存廉耻、重气节，能誓死卫道，这是曾国藩选书生为将领的着眼点。他选将的条件一是能治民，二是不怕死，三是不计较个人名利，四是能耐受辛苦。而这四点又归结于要有忠义血性，否则，"终不可恃"。湘军的兵卒都是农夫，因为农夫能吃苦耐劳。其募兵制度规定，必须是朴实而有士气的农夫，油头滑面，有市井气、衙门气的人，概不收用。湘军挖长壕、扎硬寨，不准穿有色衣服，只准穿草鞋。如此种种规定，农夫都容易办到。同时，农夫朴实，容易接受封建思想的灌输，这是曾国藩招农夫入伍的着眼点。事实证明，正是这些不知战事的书生，带领经过训练的农夫，战胜了强大的太平军。这在当时和后来都被人们看成是一个奇迹。
其次，湘军特别重视精神训练。曾国藩自称"训练之上，非战阵之才"。
而他的训练，主要是以三纲五常为核心的思想教育和军纪教育。他称之为"训家规"，宣称"用恩莫如用仁，用威莫如用礼"。每逢三、八操演日，他必亲自下校场，"反复开说至千百语"，"每次与诸弁兵讲说至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血"，用以激励士兵"天良"。
湘军兵营几乎成了一个大学校，以"四书"、《孝经》为课本，"常教士卒作宇读书，书声琅琅，如家塾然。又时以义理反复训喻，若慈父之训其爱子，听者潸然泪下"。
有这样的思想教育作铺垫，就容易形成一种"死长尊上"、"明等辨威"的风气，所以，人们认为湘军是一支儒教色彩很浓的军队，是一支有思想的军队。这样的军队，再加上升官发财的激励，自然就胜多败少，一往无前了。
再次，在组建湘军时采取"厚饷养兵"的办法。曾国藩深知，打仗是要死人的。因此，他在组建湘军时，采取厚饷养兵、用其死力的办法。在确定一名勇丁的月饷时，他找来几位勇丁，对他们在家务农一年的收入情况进行了调查，并对现行的绿营饷章进行了认真的计算。尽管绿营兵的月饷不多，但加上打仗时所发的行粮，每月也达到白银4两多。他认为，当兵的应该比种田的收入多三四倍，这样算来，每月就得发给他们白银4两上下。这个数字也正好略低于绿营月饷与行粮的总和，一旦朝廷询问起来也有个说法，于是他拿定了主意。湘军正勇的月饷被定为白银四两二钱。
曾国藩还给每营增加长夫一百二十人，以减轻士兵的劳役负担，这对提高士兵的战斗力很有益处。原来军队中兵、役混杂的情况至此大为改观，作战部队与后勤部队明显分开。
湘军中将领月饷的标准当然更高。规定陆师营官每月薪水银五十两，办公银一百五十两，夫价银六十两，共计二百六十两，凡帮办、书记、医生、工匠薪水及置办旗帜、号补各费用统统包括在内。其他各弁兵每月饷银为哨官九两，哨长六两，什长四两八钱，亲兵护勇四两五钱，伙勇三两三钱，长夫三两。水师兵饷，营官与陆师营官同，头篙、舵工与哨长同，舱长与什长同，唯哨官薪水为陆师两倍，每月银十八两。总计湘军饷用，大约平均每人每月需银六两。如果统计其各项收入，营官每月为二百六十两，分统、统领带兵三千以上者三百九十两，五千以上者五百二十两，万人以上者六百五十两。薪饷的优厚刺激了湘军的发展，其兵源也就不成问题。曾国藩用的正是"重赏之下，必有勇夫"之策。于是，"将士愈饶乐，争求从军"。这对于调动湖南农民尤其是绅士、文生的从军积极性，有很大作用。但是，此举却为日后筹饷带来困难。为解决这个矛盾，湘军采取发半饷的办法，一般只发五成饷，欠饷数月以至半年，成为普遍现象，久而久之，形成风气，士兵亦习以为常。
为防止士兵离营，湘军甚至有意拖欠军饷，或扣下大部分的银存入公所，等士卒遣散或假归时再进行核算，酌发部分现银，其余部分由粮台发统一印票，以后再付清。若士兵擅自离营，欠饷、存饷即被没收，不再发给。这样，士兵苦无薪水，又恋于饷银，也就不会轻易离营了。同时，士兵一旦假归或遣散回家，就能领到一大笔银两，这对未曾应募入伍的人也可以产生巨大的诱惑力。这样，曾国藩就达到了一箭三雕的目的：既减轻了筹饷的困难，又防止了士兵的逃跑，还能引诱大批农民和书生踊跃应募。
曾国藩为什么能战胜太平天国，这是令人深思的问题。论兵员，太平军始终比湘军数量多。天京之围，仅李秀成、李世贤的援军就达十多万人(号称六十万)，而天京城下的湘军水陆合计仅三万余人。以后围城湘军虽陆续增至五万，而太平军城破被杀的就达十万余众。论装备，李秀成有枪二万余杆，其"开花棚炮，横飞入营"，令人心惊胆战，以致曾国藩在战后多次感叹，"制胜之道，在人不在器"。论战争的指挥者，太平军前期的杨秀清、石达开，后期的陈玉成、李秀成，均不是等闲之辈。那么湘军制胜的原因在哪里？
从战争的动员来看，曾国藩以保卫名教作号召，动员士大夫阶层和"乡野老实之人"参军作战。湘军的书生将领都笃信程朱理学，有顽固的封建主义世界观，而出身农民的士兵与封建礼教并不矛盾，于是，他们在"誓死卫道"的口号下很容易结成一体；洪秀全用来动员群众的，是从西方传教士那里道听途说来的天主教义，在中国本来就没有根基，特别是后来发生天父的代言人杨秀清被杀事件，使人们的宗教热情顿然冷淡下去，诸王离心离德，群众像一盘散沙，这仗就打不下去了。
从战争的指挥来看，曾国藩有几点非常卓越：第一，他不是战阵之才，却是治兵之才。前文已述其对官兵进行思想教育，把军营办成大学校，是古今罕见之例。此外，湘军的束伍练技、幕府制度、后勤供应等，都是无懈可击的。第二，他不是成功的前线指挥官，却是聪慧的战略家。如湘军总的战略路线，先夺武昌，以两湖为"立脚之根本"，利用水师优势，建瓴而下，依次夺田家镇、九江，强攻安庆，直捣金陵。这在当时可说是唯一正确的路线。再如，对天京的三路进兵计划，曾国荃率主力顺江直下：左宗棠巡抚浙江，牵制李世贤；李鸿章去上海，迎战李秀成；左、李同时对天京形成大范围包围。这种一路主攻，两路策应的战略，无疑也是正确的。第三，他制定的基本战术方针非常有效。如结硬寨、扣呆战，挖长壕困敌、围城打援、以静制动、反客为主，等等。