朱元璋在战败了陈友谅、张士诚之后，领有湖南湖北、安徽江西、浙江江苏等地盘，这些地方都是国内最富庶的，他兵多将广，钱多粮多，成为国内最大的一支地方势力，虽然南方还有一些不听调遣和他唱反调的军阀，北方还有所谓正统的元朝，但显然已经没有什么力量可以阻挡他统一全国的步伐了。
所以，朱元璋决定挥军北上，尽早将元朝推翻。于是，他先找刘伯温商量了大致的作战方针，然后又和诸将在军事会议上详细商讨。
素有“猛将”之称的常遇春说：“末将以为，如今南方已定，只剩下北方一些军事割据，那些势力又互相争斗，应趁此机会，用攻坚战术，重兵出击，直接攻下大都，都城一旦被破，乘胜再攻击北方的军事势力，即可大获全胜。”而朱元璋的思路刚好相反，当然他也知道常遇春提出的方案也是大多数将领的想法，但是却有轻敌冒进的倾向。
朱元璋说：“大都是元朝经营了上百年的都城，防御守护一定非常坚固。倘若集中兵力深入，久攻不下，而分散在山东等地的元兵再去大都援助，那么我们的军队到时可能粮饷不足，进退皆难。”
这个时候刘伯温说：“直接进攻大都虽然是速战的策略，但正如主公分析，看似存在优势，仔细分析弊端更多，不如反其道而行。”
朱元璋看了一眼刘伯温，又扫视诸将，决定选择和常遇春相反的策略，他说：“刚才所说的劣势，对我军来说都是致命的威胁。我以为，都到了这种地步了，攻大都是早晚之事，不过方式不同罢了。大都好比是一棵大树的根，而山东、河南等地不过是其所剩无几的枝叶，不如先去枝叶，取下山东，回师河南，砍其枝叶，去其羽翼，再进军潼关，占其门户。这样，东、南、西三面的军事要地皆被我军掌握，此时大都处于孤绝无援的境地，再发动总攻包围大都，自然拔其根基。攻下大都，再乘胜向西，云中、太原等地亦在掌控之中，元朝即可彻底灭除。”
诸将听了，皆连连称赞这是最稳重全面的策略。
这就是朱元璋在十多年的战斗生涯中培养出的军事分析能力，既能把握全局，又能细心紧密地注意到局部，同时野心和魄力共存。
战略既定，下一步就是具体的军事部署。这次真像李善长建议的那样，用最精锐、最强的将领出击。朱元璋备战工作的下一步就是组织挑选统帅部人员。
朱元璋知道，选拔人才得和李善长商量，李善长虽谋略策划不如刘伯温，但对人际关系的处理，对将领们的熟悉却是最好的。
朱元璋说：“这次北伐，关系重大，我觉得还是要任用老将担任将帅。”
李善长说：“平陈友谅之前，主公亲自指挥诸将，此次北伐，将领皆在远处作战，善长认为需要选出一个能在场指挥节制诸将的大将军。”
朱元璋道：“这也是我在考虑忧心的问题啊。像常遇春、蓝玉这样的猛将，虽骁勇善战，但常常会意气用事，必须有个大将军来压阵，你以为谁做这个大将军最合适呢？”
朱元璋这样问李善长，并不是说他自己心中就没有人选，不过他更想听听他人的意见。
李善长略有所思，沉默片刻即说：“善长以为，徐达可统帅全军。徐达身经百战，用兵持重，言行谨慎，不做无把握之事，也不打无把握之仗，又注重军纪。在将士中又属老字辈，能服众。”
朱元璋点头应允，其实他心中也选了徐达，徐达是他的结拜兄弟，一同打天下可谓是赴汤蹈火，性情稳重，靠得住，对朱元璋绝对服从和忠心。
经过缜密的考虑，朱元璋在行军前宣布了北伐的将帅部署：徐达为征虏大将军，管制诸将，有运筹决策之权。常遇春骁勇善战，所向披靡，为副将军，做先锋。朱元璋知道，像常遇春这样的骁将，必须要适当驾驭，他的位次仅在徐达之下，他就无话可说，毕竟徐达是老将，同时任命参将冯胜配合常遇春，做左右翼。雪显、傅友德各领一路大军，独当一面。
应该说，这支北伐军配备了最优秀的将领，也使用了最精锐的兵士。
出发前，朱元璋特地和几位主将谈心，谈心不过是为了让他们更好地打仗，更好地为自己服务，这是朱元璋用人的聪明之处，他非常清楚将领的情绪和心理在作战中的重要性，所以每次大战，朱元璋都恳切关心地和将领谈话。先是徐达、常遇春、冯胜、傅友德等人。对徐达、汤和这两个结拜兄弟，朱元璋在私下里都是以兄弟相称，从不摆架子。而朱元璋跟老将在一起，最拿手的谈心方式就是回忆，通过对往事的记忆，唤起情感共鸣，这样情感拉近了，说什么也都容易听进去。
朱元璋说：“北伐的重任在你肩上担着，这个责任很重，你作为大将军，一定要严整军队，沟通上下，使将士们同心协力。大将军的威严，你当用则用，有违纪犯规者，当严惩不误，万事慎重再慎重，当断则断，指挥百万大军当镇定自若，统筹兼顾。”
一切都安排妥当，行军前，朱元璋为约束鼓舞士气，在应天北门外的七里山，设出师祭坛。
朱元璋先举起酒盏，祭告天地，告谕将士们北伐的意义和重要性：“此次北伐，是奉行天命，为天下百姓而出征。我们的目的并不是为了攻城略地，而是要平定中原，推翻腐朽的元朝，为天下百姓谋安居乐业之环境。我们仁义之师的称号不能枉当，每次出征，我都再三交代，不可乱杀无辜，不可抢人财物，不可强夺民女，此次依然如此，我们是讨伐元朝的义军，义军‘义’字当头，望众将和众士切记心中。”
这一席话，对士兵们而言是感动和鼓舞，也是送行前的关切。
至正二十七年（1367年）4月，朱元璋命中书右丞相徐达为征虏大将军、平章常遇春为副将军，率军二十五万，从淮河向北，直入中原。
在徐达率兵北上的同时，朱元璋还做了另外一件事，这件事对他平定北方、收拢人心起到了很关键的作用。
朱元璋在用武的同时，还用了文。所谓用了文，就是让宋濂写了一封敬告北方官吏和人民的檄文，到处散发张贴，以使北方人民明白此次北伐的因由，消除北方地主官僚对红巾军的疑惧心理，同时也用来瓦解元军的士气，文告中提出“驱逐胡虏，恢复中华，立纲陈纪，救济斯民”的纲领。宋濂的这篇檄文长达千字，言辞恳切，从汉族中原人的立场历数蒙元统治的弊端和腐朽。
这时，元朝的内战仍是打得不可开交，等到朱元璋攻打大都时，元朝的将领们也是各自为战，不愿听从他人，更不愿委屈自己与别人合作，为朱元璋各个歼灭提供了良好的战机。而宋濂的那篇檄文，对北方的汉族官僚、地主、知识阶层起到了很好的安抚和拉拢作用，使得北伐军所到之处并未受到百姓的反击，还得到地方势力的相助，且山东、河南的一些州县不攻自破，纷纷投降。
在具体的战略操作上，朱元璋让北伐军的主力徐达从淮河地区进入河南，同时让邓愈做偏师，由襄阳向北攻南阳以分散元兵军力，三个多月的时间，山东即被平定。顺利平定山东后，兵分两路，一路攻陈桥，再攻汴梁；一路攻归德（今河南商丘）、许州（今河南许昌）和邓愈会师，从后路攻击汴梁。这样，两兵夹击，汴梁不战而降。同时，冯胜也攻克了潼关，河南也被平定。
朱元璋的军事计划基本成功，下一步就是从三面包围元大都。这时已经到了明洪武元年（1368年）5月，朱元璋亲自来到汴梁，召开军事会议，商讨攻占大都的军事策略。虽然大都的羽翼被除，但朱元璋依然不敢轻敌，非常重视这次出击，因为最后的胜利就要到来。
至正二十八年（1368年）8月，徐达、常遇春将元大都攻克，并改称“北平府”。稍后又挥师西征，直取山西。在和战斗力很强的扩廓帖木儿军进行了艰苦的交战后，明军将山西平定了。12月，徐达率领明朝骑兵五万余人与王保保交锋于太原城下，王保保弃师而逃。明军歼灭元军四万余人，常遇春一路北追到欣州，王保保十余万大军全军覆没。次年春天，徐达西征的队伍攻打陕西，将元朝将领李思齐俘获。
当时，明军的主力正迅速向秦晋挺进，元顺帝也趁机命令丞相立刻领兵向北平反攻。常遇春按命令和李文忠统领八万步兵、一万骑兵救援北平，元军听说后仓皇向北方逃亡，常遇春领兵乘胜追击，获得了彻底的胜利。
为将元军对北平的威胁完全解除，常遇春又领兵攻打元上都开平，元顺帝逃至和林（今蒙古国哈尔和林）。攻克开平后，常遇春消灭了守城的元军，夺得数万车马，统治中国八十九年的元王朝从此宣告终结，常遇春因此为明朝建立立下了不可磨灭的功勋。
朱元璋北伐灭元之战，是一个战略决策和战争经过基本吻合的典型战例，显示了朱元璋卓越的用兵才能和驾驭战争的能力。朱元璋审时度势，知己知彼，料敌先机，用兵如神，是此战获胜的重要因素。此次战争的胜利，推翻了元朝的统治，确立了明朝对全中国的统治。
成功者必有非凡之处。朱元璋能从一个默默无闻的无名小卒成为逐鹿天下的人物，继而成为时代风云际会的宠儿，靠的不仅仅是运气。朱元璋和同时代的众多枭雄相比，更少以个人名利为出发点进行冒险的政治赌博；其能力、信念、人格更经得起乱世考验。因而更具众望所归的个人魅力，能整合出一支同心同德、令将士听命的军队，这是刘福通、陈友谅、张士诚、方国珍等人不曾做到的。
终于，在北伐胜利的凯歌声中，朱元璋在应天登基称帝，国号大明，年号为洪武，从此，开始了明王朝的统治。