曾国藩十分重视军事领导人才的培养和选拔，这是他一手组建的湘军和受其影响出现的淮军具有较强战斗力的重要原因。在曾国藩的幕府中，良将治才屡出，后与他齐名的左宗棠、李鸿章均出自他的麾下，郭嵩焘、彭玉麟、李元度、薛福成等都曾为其幕府，并受其举荐。
后来曾与曾国藩发生矛盾的左宗棠在给他的挽联中叹道：“知人之明，谋国之忠，自愧不如元辅。”他的主要对手、太平天国翼王石达开也曾说他“不以善战名，而能识拔贤将”。作为一军大帅，识将是至关重要的。
曾国藩所以能“识拔贤将”，与他关于将领问题的理性认识有密切关系。他认为，理想中的军事人才，应以血性为主，廉明为用，而廉明的培养，多赖学力的积累。他对带兵将领的具体要求是：“第一要才堪治民，第二要不怕死，第三要不求名利，第四要耐受辛苦”。
治民之才体现在公正严明和勤谨上，不怕死体现在临阵当先上，不求名利体现在升职加薪等诸多方面，耐受辛苦体现在身体强健、精神饱满上。对于将才，他又提出“知人善任”“善觇敌情”“临阵胆识”及“营务整齐”四条标准。根据这些认识，他战时察人才之胆识，平时察人才言语举动，根据观察结果提拔或举荐人才。如他举荐李元度的考语是“备尝艰苦，百折不回”，举荐左宗棠的考语是“刚明耐苦，晓畅兵机”。
与“识拔贤将”相辅相成的，是曾国落善于驾驭将领、虚怀纳言。他认为，“驭将之道，最贵推诚，不贵权术”。但又强调驭将必须宽严并济，不能失之宽厚。根据这样的认识，他认为营务之要，一在树人，一在立法。对于军中悍将，他主张“应宽者二，应严者二”。即：银钱施与慷慨大方，遇有战功推功于彼；话不可多情不可密，事关军纪剖明是非。就是在名利问题上从宽对待，礼义问题上从严处理。不以恩怨而废举劾，也是他所以能驾驭将领的一个关键。对于将领的意见，他往往善加采纳。他初起兵即遭岳州之败，后用陈士杰、王阎运之策，取得湘潭之胜。他在同治三年与左宗棠绝交，后又竭力举荐左宗棠，多次盛赞左宗棠的兵略，也与虚怀采纳罗汝怀等的劝勉有关。
组建湘军的过程，充分反映了曾国藩关于军队建设和训练的思想观点。他募选湘军将士，针对清初以来绿营“将与将不相习，兵与兵不相知”的缺点，实行“营官由统领挑选，哨弁由营官挑选。什长由哨弁挑选，勇丁由什长挑选”的递选制。使兵将上下相亲，同时也开始了兵为将有的局面。对于所募勇丁，以“技艺娴熟，年轻力壮，朴实而有农民土气为上”。
应募者必须家庭情况清楚、本人身份明确，并有保人具结担保。这些募选方法，为以后淮军和清末新军组建时所借鉴，对近代军队的组建方式也有一定影响。鉴于绿营丁兵薪饷过低，影响操防，他主张厚给薪饷，以鼓舞士气。为解决士兵薪饷问题，他多方筹积，得邓辅纶、王家璧等捐资集饷，周开锡、吴嘉宾等转输粮食，左宗棠等相助筹饷，使湘军饷制优厚，将士相对安心服役。他注重对军队的教育训练，以“忠信”为本教育将士要求军人以“勤恕廉明”和“谨慎”为行为准则。对于军队的训练，他把“训”和“练”分开。“训”包括“训营规”和“训家规”“训营规”指点名、演操、巡更、放哨、站墙子等军规的教育，“训家规”指禁嫖赌、戒游惰、慎语言、敬尊长等道德教育。“练”包括“练技艺”和“练阵法”“练技艺”包括练刀、枪、拳、棒等。“练阵法”包括练鸳鸯阵、三才阵、方城阵、四面相应阵等。曾国藩的军队建设和训练思想虽然封建色彩相当浓厚，但重在实用，方法多样，对后世影响也较大。尤其是他把营制、营规编成押韵易记的歌诀，让士兵学唱，不失为教育训练的一种成功尝试。
曾国藩的封建传统思想和儒家思想较深，但他对西方军事技术也相当注意。同治元年，他特设军械所于安庆，后又和李鸿章在上海设置江南机器制造局，仿制外国开花炮、弹药及轮船，制造出我国第一台蒸汽机，装备湘军、淮军。他还支持设立译书馆，翻译有关机器制造、使用及火器原理的书籍；支持容闳向美国派遣留学生的计划。
曾国藩亦文亦武，是鸦片战争后特殊形势造就的着名军事家。他的出现具有引人注目的意义：中国完全传统础的兵家的时代正在结束，新的面向世界型的兵家的时代正将到来。他是这一转变中的典型，旧的烙印尚深，新的印记初现其身。比他年龄稍小些的左宗棠、李鸿章也具有他这种典型性，不过他们身上新的时代的印记似稍多些，转型特征更鲜明些。