甲午战争失败，使清政府看到了洋枪洋炮的厉害，也显示出清政府旧有军队的腐败无能。因此，清政府各方面人士都深切地感到应当马上改革旧军队，建立新军队。1895年初，清政府派胡燸棻到小站练兵，这支由胡燸棻训练的新军名为“定武军”，并聘请德国人汉纳根作为教官。后来，由于李鸿章等人的推荐，袁世凯得以接管“定武军”，并改之为新建陆军，在原有四千余人的基础上扩充为七千人。自此，袁世凯运用手中的新建陆军，呼风唤雨，培植自己的势力，成为清廷之中继李鸿章之后的又一个实力派人物。
袁世凯自认为文武全才，但他终究缺乏军事知识，而且所选幕僚像徐世昌、唐绍仪等全是文人，于是袁世凯迫切需要一批军事人才。李鸿章曾经在天津创办过武备学堂，而荫昌曾为武备学堂的总办。因此，袁世凯便请荫昌推荐几名军事人才，荫昌向袁世凯推荐了武备学堂毕业的冯国璋、段祺瑞、王士珍和梁华殿。在荫昌推荐的四个人当中，梁华殿到小站不久，在一次夜间操练中，不慎失足跌落水中淹死，其余三人则成了袁世凯的得力助手。
袁世凯在自己的新建陆军中，设有随营军事学校，分别是步兵学堂、炮兵学堂、工兵学堂。他委派冯国璋为步兵学堂监督兼督操营务处总办，段祺瑞为炮兵学堂监督兼炮兵营统带，王士珍为讲武堂总教习兼工程营统带。这三人既要领兵，又兼管训练，很得袁世凯赏识，人称“北洋三杰”，也称其为龙（王士珍）、虎（段祺瑞）、豹（冯国璋）。同时，袁世凯还成立了新建陆军督练处，自任督练官。
一切布置妥当之后，袁世凯又认为清军的编制和组织机构陈旧过时，他便革新军制，依据西方模式，进行训练。清政府批准袁世凯在原有军队基础上，扩充为一万二千人，作为新建陆军的主要力量。其中步队八营，共八千人；炮队两营，共二千人；马队两营，共一千人；工程队一营，一千人。以步队为主，炮队为辅，马队巡护，工程队供暂时调遣。
因为小站练兵完全采用新式方法训练，花去大量钱财，引起清政府中一些守旧人物的抨击，甚至有人上书弹劾袁世凯，说他练兵浪费国帑。因此，清政府派荣禄到小站详细检阅，同时考查训练情形。袁世凯也非同小可，他早已买通荣禄，甚至连慈禧的宠爱太监李莲英也被他买通，于是荣禄考查新军之时，袁世凯喜不自胜。荣禄见袁世凯的新军训练有素，成绩斐然，大加赞赏，对袁世凯更是刮目相看。因为荣禄回朝后在光绪皇帝和慈禧太后面前极力夸奖袁世凯，使得袁世凯在两位最高统治者心中留下了深刻印象。
袁世凯通过在官场的跌打滚爬，深知有兵则有权的道理，因此他在训练之时，极力把军队变为自己的私有武装。袁世凯曾亲口对张之洞说：“练兵的事情，看起来好像很复杂，其实也很简单，主要的是要练成‘绝对服从命令’。我们一手拿着钱，一手拿着刀，服从就有官有钱，不服从就吃刀。”比如，袁世凯经常对士兵施以小恩小惠，如发饷银时亲自监督，严禁官员克扣等等，换取士兵的好感，士兵头脑中逐渐地只有袁世凯而不知皇帝为谁。
这样，袁世凯训练出来的官兵，唯袁命是从，加上思想上都有对袁报恩的观念。名义上他们属于朝廷，实际上却同袁世凯有更强烈的人身依附关系。尤其是新军中的官员，他们为了追求个人的名利地位，后来都成为袁的亲信、心腹。袁世凯正是凭借手中的新军，使其作为自己的政治资本，而成为中国近代史上一个呼风唤雨的人物。
1897年7月，袁世凯因练兵有功，被晋升为直隶按察使，仍专管练兵事宜，从此他的官运亨通，慢慢走向权力之巅。