朱元璋从很早起就开始招揽天下文人武将，他知道当谋士把好的计策说出来时，还必须要有能将去实施。所以，他每攻下一座城池，就会寻找当地或者附近的人才。朱元璋在滁州的时候，听人说到一个年少有为的将才邓愈，心中很是称赞，就想让他到自己军中带兵打仗。
邓愈，初名友德，字伯颜。幼时聪敏好学，十六岁就随父兄参加了义军。父亲成为一名不大不小的军官，然而在和元军作战的时候不幸牺牲，他的兄长接管父亲的兵权，不久得病，英年早逝。尚年少的邓愈，代替父兄职位率兵作战，异常骁勇，每遇战事，总能挺身向前，冲锋陷阵。军队中的兵士十分佩服他的勇猛，泗州、灵璧、盱眙等地很多民众听闻他的美名前来投效。
当朱元璋攻下和州的时候，邓愈率军从盱眙前来投奔。
朱元璋见邓愈带着一万多人马的军队来投靠心中很高兴，但也有些担心。邓愈此时不过才十七岁，十七岁的少年性格还未定型，此前他能带兵打仗，说明是个勇猛之人，但这样的人作为投靠者，往往也较为敏感，恐怕不好驾驭。朱元璋也明白，若能合理调控，收服他的野心和野性，这样的人必是有用之将才。
朱元璋决定对邓愈先来个攻心，他相信人和人之间若能以诚相待，以义相对，只要是通情达理之人，都会以礼相还。而对人际关系的沟通，李善长更具亲和力、说服力。朱元璋和李善长一起找来少年邓愈畅谈军务。邓愈见初到军营朱元璋就找自己谈军务，心中很高兴，觉得受到了重用。朱元璋见邓愈情绪高昂，知道这是一个阳刚洒脱之人，不喜掩藏自己，即说：“钦佩令尊的为人和勇敢，只是不能再有机缘相见，终身遗憾。能和邓公子共同对付元兵，元璋甚觉欣慰。只是不明白，如今天下枭雄辈出，起义军众多，为何公子前来和州助元璋之军？”
邓愈老成地答道：“先父生前就很敬重朱将军，朱将军是为天下百姓打仗，邓家也是为了百姓才誓死抵抗元军，这是共同的目标。正如将军所言，眼下各路起义军都在发展壮大，但真正能成气候，能为民着想的不多。”
听到此，李善长叹道：“公子不愧是邓将军的儿子，有远见，有气魄。跟着朱将军，共同抵抗元军，天下不久即可平定。”
邓愈说：“在下等的就是天下平定的那一天，以祭告亡父在天之灵。”
朱元璋又和邓愈谈了些军法兵道，谦虚地询问邓愈对目前形势的看法，相谈投机，同时也让邓愈觉得备受尊重，心中很高兴。朱元璋委任邓愈为总管，邓愈成为朱家军中最年轻的军官。
后来，朱元璋听胡大海说起怀远人常遇春，知道这是一个年轻力壮、枪法厉害的野性青年，只当做笑谈，并未往心里去，但记下了这个名字。过了十几天，朱元璋听士兵来报，说城外有个后生来投军，朱元璋随即出城相看才知正是常遇春，心里是又惊又喜。遂命他做猛将前锋，与邓愈编在一队，又命邓愈与常遇春领兵自巢湖乘船南下。朱元璋故意让常遇春在年少的邓愈身边，让他这个性格乖张做过强盗的人看看邓愈如何带兵打仗。常遇春和邓愈还算配合得好，先后攻占牛渚矶、太平、溧阳、溧水、句容、芜湖，立下战功。
至正十五年（1355年）夏天，朱元璋领兵跨江向南进发。常遇春在采石矶（今马鞍山市以南、长江东岸）战中，遭遇元朝水军元帅康茂才的严守。常遇春坐着一只小船，在流速很快的水流中顶着流箭勇猛进军，冲向敌人的阵营，拼死奋战。后来，朱元璋率军登陆，一举把元军打退了。乘胜追击的朱元璋又领兵将太平攻克，并于至正十六年（1356年）春攻下了集庆，把集庆改名为应天府。
朱元璋占据了应天府及其周边的地区，便是取得了一方物产丰富的宝地，为其继续在江南拓展与壮大做好了准备。在这一系列的战斗中，常遇春开始崭露头角，屡得头功，逐渐得到朱元璋的器重，被提拔为元帅。
至正二十年（1360年）陈友谅亲率几十万水军向应天进发，在应天西北部的龙湾和朱元璋的军队进行了激烈的交锋。
朱元璋以弱势抗击强敌，诱使敌军深入其阵营，常遇春依军令和冯国胜领兵三万设下埋伏，被当做全军的主力。在龙湾上岸的陈军突遭常遇春、冯国胜伏兵的剿杀，伤亡惨烈。那时恰逢江水落潮，陈友谅的百余艘巨舰因而全都搁浅了。朱元璋趁此机会率水陆两军并战，最后陈友谅战败而逃。
龙湾一战的胜利，使朱元璋解除了危急的局面，势力也得到壮大。击垮敌营的常遇春因战功突出，没过多久便被提拔为行省参知政事。
不甘心失败的陈友谅于1363年重新领兵六十万来袭，与朱元璋的军队在鄱阳湖展开了一场殊死战斗。
有一次，朱元璋的座船搁浅了，陈友谅的得力干将张定边趁机率船队来攻击，形势十分急迫。常遇春一马当先，将张定边射伤，并以自己的战船去撞朱元璋的座船，以使其离开浅滩。常遇春在战斗中依军令全力组织火攻，利用小船行动灵活的长处乘风放火，大火将陈友谅的舰队烧得面目全非，兵士死伤惨重。陈友谅带领残兵败将退向湖口突围，却遭到朱元璋众将的追剿和常遇春的当头围堵。陈友谅最终在交战中被流矢射死。
鄱阳湖一战改变了朱陈双方的势力对比。消灭陈友谅后，朱元璋在群雄中顺理成章地成为强者。常遇春因为立了大功而又一次受到提拔。
常遇春在中国五千年的历史长河中，也是无人能与之相媲美的一代猛将。相传他常自己带兵突进，搅乱敌人的布阵，并且在需要的时候，敢孤身潜入元军统治的地区打探消息。朱元璋挥师北伐向元朝发起总攻之时，军事要塞太原成为战役的焦点，但太原自古就是兵家必争之地，城高池深，易守难攻，元军利用这样一个屏障，以逸待劳，固守不出。
西征大将军常遇春担任这次任务的先锋，在几次叫阵不出之后，他为了了解守敌详情，甘冒奇险，装扮成樵夫，混进太原城查探情报。不料半路走漏了风声，刚一进城，就被元军事先埋伏好的士兵四面包抄，陷入重围。就在这万分危急并且身边没有随从的情况下，他还是杀开一条血路，逃进了城墙旁的一个小巷里。
由于城中居民对元朝怨气很深，在一位孤寡老妇人柳氏的帮助下，常遇春逃过一劫。获救之后，常遇春为了感激老人救命之恩，临别时，他顺手折断了院子柳树上的一枝，对柳氏说道：“老人家，这里马上就要成为战场了，兵荒马乱的年月，难免会有所误伤，您就把这根柳条插在门上，以保证您的安全吧。”
几日之后，他率领军队攻破太原城。柳氏眼见战火连天，害怕街坊四邻遭受劫难，就挨家挨户告诉街坊四邻，让大家都把柳枝插在门口。常遇春回到营中之后，命令士兵对门口插柳条的住户要小心保护，秋毫无犯。后来，人们为纪念柳氏和常遇春的恩德，也为了庆祝太原的光复，就家家在门前种上一棵柳树，渐渐绿柳成荫。这条小巷由此远近闻名，后来人们把它改名为“柳巷”了。
至正二十四年（1364年）夏天，常遇春先和徐达领兵攻克了庐州，之后又和邓愈聚集到一起，攻陷了江西的新淦、吉安、赣州等郡县。至正二十五年（1365年）春天，常遇春和邓愈领兵攻下了湖北安陆和襄阳。当年冬天，他又和徐达领兵攻取了泰州。
朱元璋于至正二十六年（1366年）秋天封徐达为大将军，封常遇春为副将军，命二人率领二十万大军向东讨伐张士诚。历经十个月的进攻后，张士诚惨败而死。常遇春又立大功，被赐封为鄂国公。
至正二十七年（1367年）秋天，朱元璋将徐达封为征虏大将军，将常遇春封为副将军，命二人统率二十万大军进行北伐。那时北方的元朝军事实力已大为减弱，因此，徐达、常遇春仅出征三个多月便将山东平定了。
次年春天，明军和元军在洛阳的塔儿湾交锋，常遇春单枪匹马冲人敌营，旗下兵士随后而入，奋勇杀敌，于洛水北部击垮五万元军，取得“塔儿湾大捷”。通过此战，明军攻占了河南、潼关，抢占了陕西的门槛，为他日攻克元大都奠定了良好的基础。
他和徐达一起，成为朱元璋的左膀右臂。徐达是一个帅才，有智谋，有战略眼光，而常遇春则是典型的将才，他有张飞之猛勇，作战身先士卒，怒目就可威震敌胆，人称“徐常二将”。
有人将明朝的统一大业概括为南下、西征、东取和北伐四个大阶段，在所有的阶段常遇春从始到终，大小战役没有一仗不参加的。他带兵以勇猛顽强、无坚不摧而著称，自称能以十万大军横扫天下，军中将士戏称他为“常十万”。史书上评价常遇春“虽不习书史，用兵辄与古合，克敌制胜之方皆中节度”。