徐达灭了张士城后，朱元璋又命朱亮祖进军台州、温州，汤和大军直取庆元。方国珍逃入海中，又被廖永忠水军击败。朱元璋致书劝降，方国珍走投无路，只好归顺乞降，小明王亦沉江而死，宋亡。至此，朱元璋已据有湖北、湖南、河南的东南部、江西、安徽、浙江以及汉水和长江下游广大地区。此时的朱元璋拥有雄兵百万，猛将谋臣云集，可谓踌躇满志，大有包藏宇内、席卷天下之势。
正当朱元璋平定陈友谅、灭掉张士诚、降服方国珍的时候，元朝宫廷发生政变，哈麻阴谋废元顺帝而立皇太子，事泄被杀。皇太子与生母高丽奇皇后又密使宦官朴不花找丞相太平商量废立之事，太平不肯，遇害身亡。皇帝和太子分为两派，斗争白热化了。吴王政权北伐中原、推翻元帝国腐朽统治的外部条件也已具备，时机业已成熟。吴王朱元璋就积极着手准备北伐。具体地讲，其北伐准备工作主要包括以下几个方面。
元至正二十七年（1367年）九月初十，徐达攻灭张士诚的捷报传抵应天，吴王朱元璋当即派遣虎贲左卫副使张兴率勇士1000名为先遣队，奔赴淮安，候命出师北伐，并命令濠州守臣训练平乡山寨军，会师淮安，准备谋取山东胶州及登州、莱阳等处。与此同时，吴王朱元璋为了保持军队的战斗力，使自身在未来的北伐元朝的战争中立于不败之地，还不厌其烦地劝诫部下众将，希望他们不要沉溺于逸乐，时刻以北伐中原、推翻元朝、统一全国为念。
九月二十八日，徐达等自吴越凯旋归来，吴王朱元璋论功行赏刚刚结束时，就曾对徐达等将领说，如今“江南既平，当北定中原，统一天下”，告诫诸将“毋狃于暂安而忘永逸，毋足于近功而昧远图”，勉励他们说：“大业垂成，更须努力。”徐达带头表示一定“尽心以图尺寸”，甘愿为实现统一全国的宏伟大业继续效力。第二天，当徐达等入朝谢恩时，吴王朱元璋曾问道：“公等还第置酒为乐乎？”徐达等回答说：“荷主上恩德，皆置酒相庆。”吴王朱元璋又告诫他们说：“吾宁不欲置酒与诸将为一日之欢，但中原未平，非宴乐之时。公等不见张氏所为乎？终日相与酣歌逸乐，今竟何如？宜深戒之。”
十月初二，吴王朱元璋在应天戟门与给事中吴去疾等讨论政务时，分析道：“吾以布衣起兵，与今李相国、徐相国、汤平章皆乡里，所居相近，远者不过百里，君臣相遇，遂成大功，甚非偶然。今扫除群雄，抚有江南，免离乱之苦，每终夜思之，不能安枕，人心难安而易动，事机难成而易坏，苟抚之失宜，施之不当，乱由是生”，说：“今中原未平，正焦劳之日，岂能坐守一方而忘远虑乎？正当练兵选将，平定中原。”认为：“诸将小心忠谨者，唯徐达听受吾言，可任斯寄。常遇春果勇有为，可以佐之，其余或为偏裨，或以守城，皆有可用之才。天若辅吾，诸将足以了之。”吴去疾认为吴王朱元璋对徐达等将领的评价允当、安排合理，所以答道：“知臣莫若君，主上知人善任，平定之功不难矣。”至此，徐达已被内定为未来北伐战争的兵马元帅。
其实，不待吴王朱元璋提醒，徐达早在灭姑苏张士诚后，就已做好北伐的思想准备，史载：“及张氏既灭，唯大将军（指徐达）于货宝无所取，妇女无所近，其深谋远略，盖谓中原未平，民未苏息，岂可速恃为安乎？”即其明证。对此，吴王朱元璋非常清楚这一点，所以他在十月十四日于西楼设宴款待功臣后，曾谕令部下诸将“当如大将军所存，共图大勋，康济宇内”，要求他们以左相国徐达为榜样，做好北伐的思想准备。众将领对徐达也颇为了解，知道吴王朱元璋所言不虚，因此闻言后都叩头请罪。
在北伐中原的时刻表、进军路线等有关战略战术问题上，吴王政权内部意见不一。有人劝吴王朱元璋等“荡平群寇”，即消灭各地割据称雄的地方武装及元末红巾军余部之后，再进兵攻取元朝都城；有人建议“直走元都，兼举陇蜀”，即同时出兵攻打元朝都城和割据陕西、四川的实力较强的张思道、李思齐和明昇所部，等等。由于这些意见与建议与吴王朱元璋的想法不一致，因此都没有被采纳。
十月十七日，打算在近期兴师北伐的吴王朱元璋召集徐达等人，商讨有关北伐事宜。他问道：“今欲命诸公北伐，计将何如？”常遇春应声答道：“今南方已定，兵力有余，直捣元都，以我百战之师，敌彼久逸之卒，挺竿而可以胜也。都城既克，有破竹之势，乘胜长驱，余可建瓴而下矣。”吴王朱元璋认为常遇春举兵深入、直捣元都的建议也不可行，说：“元建都百年，城守必固。若如卿言悬师深入，不能即破，顿于坚城之下，馈饷不继，援兵四集，进不得战，退无所据，非我利也。”接着，吴王朱元璋提出了自己的意见，说：“吾欲先取山东，撤其屏蔽。旋师河南，断其羽翼。拔潼关而守之，据其户槛。天下形势入我掌握，然后进兵元都，则彼势孤援绝，不战可克。既克其都，鼓行而西，云中、太原以及关陇可席卷而下。”徐达等表示赞同，于是北伐进军路线就此确定下来。随后，吴王朱元璋又转过头来对徐达说：“兵法以庙算胜者，得算多也，卿其识之。”告诫身为众将之首、未来北伐战争主帅的徐达，务必遇事三思而行，临阵胸有成竹，切忌鲁莽行事。
经过一个多月紧张而有序的准备之后，吴王政权的北伐行动已经如箭在弦。元至正二十七年（1367年）十月二十一日，吴王朱元璋正式任命徐达为“征虏大将军”，率同鄂国公常遇春（时任“征虏副将军”）等，领兵25万，北取中原。
随即，吴王朱元璋同时召集负责进攻中原、福建和广西的三路统兵将领徐达等进行训话，声称自己命将出征是“奉天命平祸乱、安生民”，告诫诸将切勿轻敌等。由于北伐中原事体更加重大，所以吴王朱元璋在训话时对徐达等北征将领的行军作战事宜做了特别细致的安排。他指示说：如“临大敌”，征虏副将军常遇春负责统领前锋；如“敌势强”，征虏副将军常遇春、参将冯宗异则分为左、右两翼，各将精锐进击敌人，同时右丞薛显、参政博友德可各领一军，独当一面；如遇“孤城小敌”，则只需派遣一位有胆略的将领，赋予他总制之权，即可马到成功；征虏大将军徐达“专主中军，策励群帅，运筹决胜，不可轻动”。同时，他特别叮嘱徐达等牢记“将在军，君不与者胜”的古训，要求北征诸将都能够在临阵之际随机应变。随后，吴王朱元璋又向徐达强调了北伐的进军路线、军队纪律以及临阵和为将应当注意的主要事项等。
当天，吴王朱元璋因三路兵马同时出征，亲自前往应天北门七里山祭告上下神灵。尔后，他又大集各路将士进行战前总动员。在对奉命北取中原的徐达等讲话时，吴王朱元璋强调北伐中原的宗旨是“削平祸乱，以安生民”，告诫北征将士在所经之处及城下之日，“勿妄杀人，勿夺民财，勿毁民居，勿废农具，勿杀耕牛，勿掠人子女”，并责令他们“民间或有遗弃孤幼，在父母亲戚来求者，即还之”，说：“此阴骘美事，好共为之。”徐达等都“顿首受命”。
十月二十一日，在吴王朱元璋亲祭神并进行过战前总动员后，大将军徐达当即统领25万大军启程，北伐战争正式开始。按照吴王朱元璋的指令，徐达所部北伐大军进攻的第一个目标便是山东元兵。
十月二十四日，大将军徐达率军到达淮安，遣使持信先往山东沂州，招降在山东影响较大、颇具实力的王宣及其子王信所部元朝地方武装。
王信收到徐达的招降书后，在十月二十八日遣使纳款请降，并且上表祝贺吴王朱元璋讨平张士诚。吴王朱元璋受其降，派徐唐臣、李侍仪、李少卿等持其书信前往沂州，对王信的归降之举表示赞赏，授王信为荣禄大夫、江淮行中书省平章政事，许其部下官将全部仍任旧职，同时要求王信听征虏大将军徐达节制，率部随从徐达讨平中原，许诺将来共享荣华富贵。但是，王信与其父王宣“阴持两端，外虽请降，内实修备”。徐唐臣等到达沂州后，王宣不愿“以兵从大将军（徐达）征讨”。他一面暗中派遣其子王信前往莒、密等州募兵，为抵御徐达所部做准备；一面派遣其员外郎王仲刚及王信岳父老冯等假意来到徐达军中犒劳将士，以缓北伐之师。徐达不知其中有诈，“受而遣之”。
吴王朱元璋得知情况后，立即派人私下告知徐达“王信父子反复，不可遽信”，命令徐达“勒兵趋沂州，以观其变”，同时还指示说：“如王信父子开门纳款，即分两卫军守其地，（王）信父子及部将各同家属遣至淮安。若益都、济宁、济南俱下，各令（王）信军五千及我军万人守之，其余军马分调于徐、邳各州守城，然后发遣其家属与居，唯士兵勿遣。分调之后，仍选其马步精锐者，从大军北伐”；倘若王信父子“闭门拒守”，则举兵“攻之”。十一月初四，徐达率军进驻下邳，分遣部下大都督府都督通知张兴祖率宣武等卫军前往徐州，进取山东西南及西部诸州县。初七，徐达兵至榆行镇，元佥院郦毅、镇抚孙惟德等投降。徐达令黄蓬、张千户率兵驻守其地。
十一月初十，王仲刚等回到沂州，王宣立即派兵趁夜袭杀徐唐臣。徐唐臣乘乱逃脱，直奔徐达军营。徐达得知王宣降而复叛的消息后，当即率师直抵沂州城，扎营于北门外。起初，徐达仍想招降王宣，又派梁镇抚前往劝说。王宣为了敷衍徐达，以便拖延时间，等待其外出招募兵马的儿子王信带兵来援，佯遣郎中常某出城，在西城门外会见了梁镇抚。梁镇抚对常某说：“我即张氏义子，蚤（通”早“降，故得至今日，王平章（指王信）不降何待？”常某回城将他的话转告王信之父王宣，王宣又派常某将梁镇抚接入城中，并对梁镇抚说：“吾降，吾降。”梁镇抚回报徐达后，王宣仍然闭门拒战。徐达大怒，准备攻城。他亲自坐镇北门，又分军扎营于南门，同时都督冯宗异也命令部下军士开坝放水，冲击沂州城。十一日，徐达挥兵猛攻沂州城。由于王信募兵未归，王宣“自度不能支”，被迫在十二日打开西城门，向徐达举手投降，并交出了元朝廷授予的沂国公印等。随后，徐达命令王宣修书一封，派遣镇抚孙帷德持其书信前往招降王信。王信拒不从命，并杀害孙镇抚，与其兄王仁逃往山西。徐达因愤恨王宣阴险狡诈、反复无常，且恼怒王宣之子杀害其部将孙镇抚，所以下令逮捕了王宣，将他与叛乱首犯王仲刚、常郎中等十余人一并处以死刑，命令部下指挥韩温领兵驻守沂州。
徐达平息沂州之乱后不久，受其影响，元山东峄州守将右丞赵蛮子、莒州守将周黻和安统、沂水守将张云翰、日照守臣、原王信部下随从将士，以及与山东沂州毗邻的元江苏海州守将马郦和沭阳、赣榆二县守臣等，纷纷来降。
十一月十八日，吴王朱元璋因得知徐达已经平定沂州，加之“金、火二星会于丑分，望后火逐金过齐鲁之分”，有占者说：“宜大展兵威”，所以遣使传令大将军徐达等说：“闻将军已下沂州，未知勒兵何向？如向益都，当遣精锐将士于黄河扼冲要，断其援兵，使彼外不得进，内无所望。我军势重力专，可以必克。若未下益都，即宜进取济宁、济南二城。既下益都，山东势穷力竭，如囊中之物，可不攻而自破矣。”不过，他最后还是在谕令中表示：“兵难遥度，随机应变，尤在将军”，允许大将军徐达根据前线实际情况做出适当的决策。
徐达兵克沂州后不久，已命平章韩政分率兵马外出攻略榆行、梁城等镇寨未降元兵。在接到吴王朱元璋这份谕令后，他又遵谕改令韩政分兵扼守黄河要冲，“以断山东援兵”。因此，韩政派遣千户赵实率兵西出，进攻滕州。起初，元滕州守将杨知院强迫城中军民，无论老弱，全部登城据守。后因有传闻说徐达将率大军来攻，滕城陷入一片恐慌之中，杨知院被迫出逃。十一月二十八日，北伐将士攻克了滕州城。
在命令韩政分兵扼守黄河要冲的同时，徐达又亲统大军向益都方向推进。兵至临朐时，元守将丁玉明出逃。继进至益都后，丁玉明前来投降。徐达派丁玉明招降元益都守臣平章政事老保等，没有成功。徐达对部下诸将说：“老保所恃者，河上援兵耳。吾已分兵扼黄河，断其左臂，彼尚不知，为釜鱼之计”，于是督兵填坝，猛攻其城。十一月二十九日，徐达攻陷益都，并活捉了老保与白知院等，元平章普颜不花不屈而死。紧接着，徐达又乘胜出兵，连克寿光、临淄、昌乐、高苑等县及潍、胶、博兴等州，并命部将指挥叶国珍等各自领兵留守益都等以下城池。此役，徐达所部共计俘获元军将士一万零五百余人，马骡一千六百余匹，粮十八万九千余石。随后，徐达派人将老保和白知院送往应天，接受吴王朱元璋处置。
在益都告破的同一天（十一月二十九日），吴王朱元璋持敕前往山东，指令大将军徐达等：“若山东各城俱下，留兵一万守益都，余分守济南、济宁，然后大军进取河洛、燕冀，相机而动”，同时命令徐达增兵守卫徐州。
十二月初三，徐达自益都统兵西出。次日，兵至长山，元北河、般阳路总管守将李圭等接受徐达招抚，率领军民前往徐达军前投降，其所辖淄川、新城等县都“望风敛附”。徐达因此得其所部元兵1414人，粮二万一千三百余石。
十二月初五，都督同知张兴祖率师至东平，元平章马德弃城出逃。张兴祖派指挥常守道、千户许秉等领兵追至东阿，元参政陈璧等率所部军民5万余人来降。许秉又率舟师进逼安山镇，元右丞杜天佑、左丞蒋兴率部投降，获其船只150余艘。同一天，孔子第56世孙、衍圣公孔希学率领曲阜县尹孔希章、邹县主簿孟思谅等“迎见（张）兴祖于军门”，张兴祖待之以礼。在曲阜孔氏家族迎降举动的影响下，山东兖州以东州县“皆来降”。初六，吴王朱元璋派往山东的使者宋迪在返回应天后，汇报山东战况说：“都督同知张兴祖所下山东诸郡，得士马万计”，并称赞张兴祖“能推诚待人，于其降将有可用者，即使领其旧兵，俱以进取”。吴王朱元璋听后，认为“此非良策”，特别是在听到张兴祖麾下有降将统率骑兵达千人的消息后，忧虑更是胜过喜悦，说：“若一旦临敌，势不足以相加，因而生变，何以制之？”为此，吴王朱元璋又派宋迪出使山东，命令张兴祖：“今后得一降将及官吏、儒生，才有可用者，悉送以来，勿自留也。”
十二月初六，大将军徐达兵至章丘，元守将右丞王成投降。初七，抵达济南。元守将平章忽林台、詹同、脱因帖木儿已先期率兵驱赶济南部分居民逃离，留守济南的元平章达朵儿只进巴等举城投降。因此，徐达获其将士2855人、马429匹，命令指挥陈胜守城。随后，徐达遵吴王朱元璋之命，遣使解送达朵儿只进巴等前往应天，不料行至洛口时，达朵儿只进巴等伺机杀死使者，逃回北方。初八日，都督同知张兴祖奉命率兵进攻济宁，元守将平章陈秉直弃城逃走，徐达遂令张兴祖率部驻守其城。
当山东捷报频传之际，吴王朱元璋又在十二月初九特意派人传谕大将军徐达、副将军常遇春说：“闻将军已下齐鲁诸郡，中外皆庆。予独谓胜而能戒者可以常胜，安而能警者可以常安；戒者虽胜若始战，警者虽安若履危。夫屡胜之兵易骄，久劳之师易溃，能虑于败，乃可以无败；能慎于成，乃町可以有成。”并告诫徐达等“周防谨密，常若临敌，勿生懈怠为人所乘。”吴王朱元璋的这番话，对徐达所部官兵在连战告捷情况下可能产生的骄傲轻敌情绪具有一定的预防作用。同一天，元密州守将邵礼来到徐达军中请降。
十二月十四日，吴王朱元璋再次就俘虏处理事宜，遣使传谕大将军徐达、副将军常遇春：“闻大军下山东，所过郡县，元之省院官来降者甚多，二将军皆留于军中，吾虑其杂处，或昼遇敌，或夜遇盗，将变生不测，非我之利。盖此辈初屈于势力，未必尽得其心，不如遣来，使处我官属之间，日相亲近，然后用之，可无后患。若济宁陈平章、卢平章、东平马平章各官家属，亦发遣来，我将厚待之。”明令徐达等将所俘元朝官将及其家属遣送应天，以免祸生不测。十五日，元蒲台守将荆玉、邹平县尹董纲至大将军徐达军门请降。徐达用元降将佥院郦毅守卫邹平，命指挥张埜镇守章丘，调益都指挥唐英驻守蒲台。
十二月二十二日，大将军徐达派遣参政傅友德率领先头部队，进军山东半岛，兵锋直指地处半岛中心地带的莱阳。二十四日，徐达又从济南启程东返益都，以便就近指挥各路将士进取登、莱等处州县。
十二月二十六日，徐达来到益都，元登州守将董卓所遣使者都事鞠允中、莱州守将安然所遣使者李荣以及福山等县官史“各奉图籍来降”。洪武元年（1368年）正月初三，元莱阳守将世家宝“籍其军马之数”，遣佥院王世龙、都事唐宜等至徐达处纳降。初五，徐达部将参政傅友德兵抵莱阳，世家宝又亲到军前请降。初六，元宁海州守将方德、陈用和文登守将马国宁等都到徐达军中请降。二十五日，因山东半岛州县已经抚服，徐达又从益都返回济南，为最后克服山东全境，开辟河南新战场做准备。
二月初四，元滨州守将翟副枢、于佥院来到济南，投降徐达。初五，徐达遣副将军常遇春率兵自济南攻取东昌。十二日，东昌被攻克，元守臣平章申荣自杀身亡，其所属茌平等县全部投降，常遇春随即回师济南。至此，山东全境基本平定。
当徐达所部北伐大军即将结束山东战事、开始新的征程之际，朱元璋也积极配合徐达的行动，力求尽快稳定山东地区的社会秩序，如朱元璋下令中书省臣榜谕山东，招抚流散之原元朝官兵等，说：“徐达、常遇春等克益都、济宁、济南、般阳诸城，已收其军进取矣。今闻其亡将散卒尚有于塔山等处剽掠为民患者，中书宜榜谕之。”后来，中书省臣根据他的指令，拟定榜文道：“尔等昔皆良民，因世乱，不得已而从军。王师之举，正为民驱除祸乱，使得复业。尔等各有父母妻子、祖宗丘垅，岂不因此得以休息，遂仰事俯育之心？何乃迷而不复以此为终身之谋？得无失计。若体此意，能自言于官，军则月给以粮，民则各归本土。如不从命，天宪靡逃，一丽于法，悔无及矣。”当月月底，他再次命官前往抚揖其地。同时，他还想方设法鼓舞北伐将士的士气，千方百计从人力、物力等方面增援徐达。
洪武元年（1368年）正月初四，吴王朱元璋在北伐战争的一片凯歌声中正式登上皇位，定国号为“大明”，建元“洪武”，并当即任命徐达为右丞相。时过六天（即初十），明太祖朱元璋又下诏授徐达为银青荣禄大夫、上柱国，令兼任太子少傅，许“录军国重事”，并且颁发诰敕，对徐达大加赞扬。接着，明太祖又连续在二月初二，诏令刚刚率军讨平福建陈友定部的征南将军、御史大夫汤和回明州，负责“造海舟，漕运北征军饷”；在初九派遣右丞王溥至济南大将军徐达处，颁赐随征将士；在十六日复令都督通知康茂才率军前往济南，随从大将军徐达北伐。
这一系列举措，不但有利于巩固北伐战争的现有成果，加强对山东地区的管辖，而且为徐达等尽快解决山东已复州县的遗留问题、继续进取山东未下州县、加快北伐战争的进程等，发挥了积极的作用。
二月十九日，徐达檄令山东济宁、江苏徐州两地明朝守臣，令其立即分别运粮一万石、二万石至东昌，以补充北伐军粮。同时，他命令济南指挥杨广率新附军士6000人赶赴济宁，与北伐大军会合，颇有立即进攻河南之势。
元至正二十七年（1367年）十二月初三，徐达在临近发兵益都、挺进济南之际，曾遣使前往乐安，招降元将俞胜。其时，俞胜之兄俞宝被部下所杀，俞胜代任平章之职并接管其部众尚且不久，权位未稳，根基不牢，不想过早与徐达所部发生正面冲突，因此打算虚与委蛇。初十，俞胜先遣其部下郎中刘启宗、理问张秉一至徐达军前纳款请降。十九日，他又亲自从乐安来到济南，谒见大将军徐达。徐达以礼相待，而后令其还守乐安，而将其郎中杨子华留在军中作为人质。
俞胜回到乐安后，“阳为附顺，阴实从元”。徐达得知消息后，为了不致引起其怀疑与警觉，又特意派遣已经诚心归附的杨子华等回到乐安，以“造作军器、征粮草”为名，“阴察其所以”。徐达此举的用意主要有两个：一是他深知日久患深、乱成难制之理。如果俞胜果真有心反叛，那么在使者抵达乐安并宣布他的命令后，俞胜势必不愿为北伐军提供军器、粮草，而拒绝军令必然遭到严厉的处罚，这一点俞胜与徐达都心知肚明。因此，对俞胜而言，如不从命，其结果要么受罚，要么起而反叛，险中求胜，而前一种选择对心存反叛的人来讲是不可能的；对徐达来讲，只要俞胜拒绝从命，则其反叛之心已明，不论其是否立即公开举兵作乱，都可迅速绳之以法，以根除后患。二是他想借此机会证明有关情报的真实性与准确性，以免错杀无辜，造成不可挽回的损失。
洪武元年（1368年）二月二十三日，杨子华等抵达乐安并宣布大将军徐达的命令，结果俞胜“拒命而叛”。徐达得报后，为了稳定山东局势，立即亲自带兵前往乐安镇压叛乱。当天，徐达兵至济阳，部下指挥刘宁抓获了俞胜派出的二名打探军情的侦卒，徐达“斩之而进”。
二月二十四日，明太祖派使者前往山东，传谕徐达道：“计将军之师将至乐安，攻之半月可下。乐安既下，即引兵上黄河，取汴梁、河南。如乐安不下，作长围困之，止留亲军攻守。彼外援不及，内食不继，俞胜等将不战而擒之矣。其羽林等卫壮士并各卫军马，令都督冯宗异总之，都督同知张兴祖、康茂才、右丞薛显、参政傅友德诸将士等，俱令至济宁草桥，以听调发。”很明显，明太祖此谕实际上就是命令徐达在平定乐安兵变后，立即挥师河南；如乐安一时难以攻克，则留部分“亲兵”（指徐达部下非北伐期间收编的元朝官兵）围攻俞胜，其余大队人马齐集济宁，听候调遣，以免耽误整个北伐行动的进程。
二月二十五日，徐达率军进抵距离乐安仅5里的土河，命令士卒“填坝以进”。次日，俞胜部将朱镇抚等来报俞胜已经逃走，于是徐达率兵直越乐安，扎营于城东南。留守乐安的俞胜部下郎中张仲毅出降，乐安之乱宣告平息。徐达命指挥华云龙负责守卫乐安，副将军常遇春、都督冯宗异奉命率兵追捕俞胜不及，俘其将朱右丞而还。稍后，有报告说元丞相也速、平章忽林台等所部增援乐安俞胜的元兵已经抵达乐安，徐达亲自率兵出城迎战。元兵败逃时，徐达又挥兵追赶80余里，杀伤大量元朝官兵，生擒元枢密院判脱欢，俘其士卒数百人，获马300匹。稍后，徐达“籍山东城邑、俘获军实之数”等，上报朝廷。三月初五，徐达率兵离开乐安。
三月十六日，徐达兵至济宁，元国子祭酒孔克坚“称病”，遣其子衍圣公孔希学前往军前谒见徐达。随即，徐达派人将孔希学送往京师应天。孔希学到达应天后，奏称：“臣父久病不能行，令臣先入见。”后来，明太祖遣使持敕前往慰谕，孔克坚终于在四月初八亲自前往应天朝见明太祖。至此，一千多年来一直受到历朝历代最高统治者保护的孔府、被尊奉为“圣人”的孔子后裔也彻底归附了明朝廷。
徐达所部北伐大军经过约四个月的鏖战，不仅基本上统一了山东，达到了明太祖撤元朝大都屏蔽的要求，而且俘虏和收编了大量元朝官兵，缴获了大批物资。据明太祖在洪武元年（1368年）三月十四日收到的征虏大将军徐达所上奏报统计，徐达等共俘获元兵三万二千余人，收缴马一万六千余匹、粮五十九万七千余石、盐五万三千七百余引、布绢八万零七百余匹，战果非常丰硕。此外，徐达在率部征讨山东时，能够充分利用手中的职权，自行妥善处理有关战争善后等问题，如他每攻占一地，都必分兵驻守，设法统筹解决军民所需粮食等问题，而且军纪严明，北伐将士秋毫无犯，史载：徐达在率部讨平山东时，“所过辑兵守御，规画足食，兵不民扰”，便是有力的证明。这些举措不仅有利于加强对新占领区的管辖，而且有利于尽快恢复和发展山东的社会经济，稳定当地社会秩序等。在此基础之上，明太祖于洪武元年（1368年）四月二十三日下令设置山东行中书省，任命汪广洋为山东参政，又进一步加强了对山东的管辖。此外，徐达还从新近收编的元军将士中挑选精壮者，率以从征，既解除后患，又补充和扩大北伐军的队伍。徐达在北伐之初的上述表现，既充分展示了徐达的大将之才，也令坐镇京师的明太祖大感宽慰，因而更加信赖徐达。
如上所述，在乐安兵变发生以前，大将军徐达就已启动了进军河南的战前筹备工作，所以徐达在回到济宁后的当天（即洪武元年三月十六日）稍后，便统率北伐大军自山东郓城出发，经水路逆黄河而上，进取河南汴梁。
洪武元年（1368年）三月二十九日，徐达兵至汴梁陈桥。元汴梁守将李克彝得报后“震惧”，立即将避难至此，而且曾多次与徐达交战、较为熟悉南方军队阵法的左君弼召来问计，并想委任他为前锋将领，抗拒北伐大军，说：“公与南朝数接战，熟其阵势，今授公以兵，公前与战，我从后乘之何如？”左君弼一方面因为感激明太祖将他前时在寿春被徐达俘虏的年迈母亲送回，胸中已“有降附意”；另一方面他经过与徐达几番交锋后，不仅对徐达心存畏怯，而且在失败中发现徐达确实精于用兵之道，所以他回答李克彝说：“南朝军锋不可当，吾见其阵，辄胆落不能战，故奔投至此。况徐相国善用兵，所向克捷，君弼安敢受命？”于是，李克彝被迫连夜逃往洛阳，左君弼与元将竹昌等率部出城投降。徐达领兵入驻开封城，副将军常遇春分兵扎营于城外。开封父老乡亲“壶浆以迎”，热烈欢迎徐达所部北伐之师的到来。四月初二，徐达遣千户王镇将左君弼、竹昌等送往京师应天。
四月初四，徐达命都督佥事陈德驻守开封，亲自统率步兵和骑兵自中滦镇出发，直捣元河南行省省府及河南府路治所所在地洛阳。
四月初八，徐达统领大军通过虎牢关，进抵河南府塔儿湾。元将詹同、脱因帖木儿领兵5万，在洛水以北15里的地方列阵迎战。徐达布阵完毕后，副将军常遇春单骑突入敌阵，遭到敌人20名骑兵持槊围攻。常遇春沉着应战，一箭射杀其前锋，敌军为之丧胆。徐达见状后，指挥大军趋势出击。正在这时，忽然南风骤起，战场上尘土飞扬，呼喊厮杀之声惊天动地。迎风而战的元军阵脚大乱，仓皇败逃。徐达兵一路追杀，至50里外方才止步，俘获不可胜计。脱因帖木儿收集残兵，逃往陕州。徐达随即率兵进逼洛阳城，在北门外安营扎寨。元将李克彝见河南元军主力已被击溃，又逃往陕西。元河南行省平章、梁王阿鲁温势孤力单，知道大势已去，被迫派副枢夏仲良至徐达军前请降。当晚，阿鲁温又派参政郑伯起、省都镇抚李敏等前往求见徐达。次日，阿鲁温手捧梁王金印，率领洛阳官民出降，洛阳宣告平定。随即，徐达命左丞赵庸负责守卫洛阳。
在北伐大军连克开封、洛阳两大城池后，河南元军已显土崩瓦解之势，但是大将军徐达不但没有因此滥用武力，反而采取了极大的克制态度。他派人招降散处在河南各地的元军残部，尽可能避免使用武力，力求将战争给河南人民生命和财产造成的损失降到最低点，但是对于那些负隅顽抗者，则坚决予以武力征剿，毫不姑息。
在进占洛阳的当天，即四月初九，徐达就命员外郎高瑞传令招抚河南各地山寨的残余元军及地方割据武装等，同时派指挥任亮专程招抚嵩州。在他的招抚下，四月十一日，元郑州荥阳百尺川寨守将参政楚谅派尹敬祖等来到徐达处请降。十二日，副将军常遇春奉命率兵至嵩州，元守将李知院迎降，得其马200余匹。十四日，常遇春率兵入城，擒获元平章外儿等，并分兵攻取嵩州各地未降山寨。十五日，徐达奉明太祖之命征召河南名儒睢明义、钜鼎臣、程彦鲁、秦彦洪、哈天民、王克明、冯子瑞、迈仲德、单有志、王仪等前往京师应天。同一天，元神顶寨守将佥院西青山等来到北伐军驻地，谒见大将军徐达，并献上马、骡35匹。
四月十八日，徐达命都督同知冯宗异、康茂才等率兵进取陕州，同时又派遣其麾下与元降将楚谅一道前往招抚登封等处山寨头目柴岩、翁谅等。当天，驻守巩县孟夏寨的元参政李成来降。二十日，元福昌守帅知院张兴、钧州州守将哈剌鲁、许州守臣右丞谢孚、陈州知院杨崇等，分别派人至徐达处请降。二十一日，徐达派参政傅友德领兵进逼福昌山寨，元右丞潘莽儿被迫投降。同时，副将军常遇春也带兵进占了汝州，在留兵守城后，又出兵占领了郏县。二十二日，都督同知冯宗异等兵至陕州，元将脱因帖木儿弃城逃遁，冯宗异所部顺利入据该城，都督同知康茂才奉命留守。二十四日，元方山寨守臣、儒官程梦鲁率部前往徐达军前投降。同一天，都督同知冯宗异率部进逼由中原通往西北地区的军事要塞——潼关。
史载，李思齐、张思道在最初听到徐达所部北伐大军进兵河南的消息时，就亲率重兵驻守潼关，企图负隅顽抗。但不久后，张思道便因军营被火焚毁，不得已率大队人马退守葫芦滩，只派其部将张德钦、穆薛飞率兵驻守潼关。冯宗异兵至潼关后，李思齐怯战，连夜抛弃辎重逃往凤翔，张思道也在当晚逃奔都城。二十六日，冯宗异等顺利进据潼关，并出兵西至华州，元朝守将都“望风奔溃”。只因明太祖有令止兵潼关，冯宗异才未乘胜继续统兵西进。二十七日，元孟津守将万户李恕、答底寨佥院陈德庸前往徐达处纳款请降。当天，徐达还曾派出指挥唐黑塔等率兵进取裕州泉北寨，但因元平章郭云率部拒战，敌寨经久不能攻拔。后来，徐达又派人持其书信前往招降，郭云也不予五月初一，徐达自洛阳西至陕州，即日应都督同知冯宗异的请求，令都督佥事郭子兴率鹰扬卫指挥于光、威武卫指挥金兴旺前往潼关，以加强该处的防守力量。初四，他又派指挥王臻统领虎贲、振武、骠骑、通州等卫将士前往虢州等处，攻取“毛葫芦”兵所立山寨。所谓“毛葫芦”，实际上是元末乱世之际的南阳、邓州等处义兵万户府为了自保，从当地土著人中招募来的军队，也就是通常所讲的土兵，由于他们“自相团结”，有如葫芦，所以人们就给这支军队取了这样一个绰号。王臻率军抵达目的地后，“致其兵自益”，既减少了双方人员的伤亡，又壮大了北伐军队伍。初七，都督同知冯宗异从潼关回到陕州，徐达遂与之同返洛阳。十二日，徐达一回到洛阳，就派遣指挥唐英招抚巩县各处山寨。十五日，由于登封、巩县鸡翎山和天堂山山寨降者复叛，徐达命令指挥曹谅等率兵讨伐。二十日，徐达又派人持书信招抚元裕州泉北寨守将郭云等。二十一日，参政傅友德率兵攻克凌青寨，元黑山寨守将闻风逃去。是日，傅友德还将所俘驻守仙人寨元参政牛某等八人送交大将军徐达处分。二十四日，指挥唐英及曹谅攻破鸡翎山寨，抓获叛将，并将其送交大将军徐达处斩。二十六日，指挥任亮攻克玉山等寨，擒斩其头目李德。二十八日，指挥任亮将所俘元玉山、黑山等寨守将左示张恒等16人送交大将军徐达。
六月初一，徐达自洛阳至开封朝见明太祖，初四日还驻河阴。初十日，指挥曹谅率兵进攻青山寨，元守将参政王兴祖战败，被迫率部投降。十三日，徐达派遣任亮驻守嵩州。
至此，经过徐达所部北伐大军近三个月的努力，又征服了除豫北地区以外的河南绝大部分地区，成功实现了明太祖斩大都之羽翼、据西北之户槛的目标和愿望。
大将军徐达率部相继攻占山东和河南、阻兵潼关天险之后，元朝政府的实际控制区域已不及原来的一半，人员与财富资源都日渐枯竭，元朝廷业已陷入势孤援绝的境地，败亡已是势所必然。即便如此，明太祖和大将军徐达等对此仍然不敢掉以轻心。
徐达所部北伐大军顺利攻占开封和洛阳两大城市，冯宗异奉命率兵西取陕州和潼关等消息传到应天后，明太祖立即于四月二十四日遣使传令都督同知冯宗异，说：“若克潼关，勿遽乘胜而西。今大军方有事北方，宜选将留兵守关，以遏其援兵。尔且率师回汴梁，朕将躬往议之”，并于当天启程赶赴开封。明太祖给冯宗异下达上述命令，目的是想阻止徐达部将冯宗异进兵关西，以免过早引发其与关西颇具实力的元朝地方武装之间的军事冲突，从而影响其北上攻取元都、摧毁元朝政权的计划，延误北伐的进程。而他之所以要在这个时候亲自北上河南，原因主要有两个：一是当时有人向明太祖进言，说：“君天下者，宜居中土”，开封曾是北宋的都城，劝明太祖定都其地，因此明太祖想“往视之”；二是此时正值北伐的关键时刻，虽然明太祖已派使者持令阻止冯宗异出兵关西，但进攻元朝都城事关重大，所以明太祖还是决定亲自北上，与大将军徐达等会合，共同“谋取元都”。
五月二十一日，明太祖车驾来到开封。第二天，诏令改汴梁为开封府。这天，副将军常遇春和都督同知冯宗异先行来到开封谒见明太祖，明太祖慰劳道：“大将军（指徐达）与将军率师北征，不逾年平齐鲁、下河洛，亦甚劳矣。”常遇春闻言后，谦虚地叩头回答说：“此皆陛下威德所致，臣等奉遵成算，得效驱弛，臣等之幸也。”君臣寒暄后，便静候大将军徐达的到来。
六月初一，军务繁忙的大将军徐达终于从洛阳赶到开封谒见明太祖。明太祖在对大将军徐达称颂和慰劳了一番后，立即将话转入正题，说：“朕闻河朔之民，日夕望吾师至，将军（指徐达）宜与诸将乘时进取而安辑之。朕观天道人事，元都可不战而克。大丈夫建功立业，各有其时。揆时之会，不失事机，在将军等勉之！”勉励大将军徐达等抓住其时黄河以北地区人民渴望早日结束战乱、实现安定统一的有利时机，率兵北进，推翻元朝政府的腐朽统治，为国建功，为己立业。
随后，明太祖又单独召见大将军徐达，商讨北取元都的具体计划。明太祖问徐达道：“今取元都，计将安出？”徐达回答说：“臣自平齐鲁、下河洛，王保保逡巡太原，徒为观望。今潼关又为我有，张思道、李思齐失势西窜，元之声援已绝。臣等乘势捣其孤城，必然克之。”明太祖虽然认为徐达所提自河南发兵直捣元都的建议不无可行性，但他还是坚持按自己的想法行事。他看着地图，对徐达说：“卿言固是，然北土平旷，利于骑战，不可无备。宜选偏裨提精兵为先锋，将军（指徐达）督水陆之师继其后，下山东之粟以给馈饷。由邺趋赵，转临清而北，直捣元都。彼外援不及，内自惊溃，可不战而下。”明太祖此言，实际上等于命令徐达率兵渡过黄河，经冀南转而东向，然后由齐鲁北上进攻元都。后来，徐达又请求明太祖允许他在夺取元朝大都后，派兵追捕北逃的元朝残余，以根除后患，但也未能得到明太祖的许可。与此同时，明太祖还告诫徐达“慎勿焚掠元之宗戚，皆善待之”。
六月初四，徐达告辞明太祖，离开开封，还驻河阴，开始了北取元都前的紧张筹备工作。在预定的发兵之日前几天，徐达派人督促河南各地北伐将领会师河阴（奉命留守河南者除外）。六月二十日，副将军常遇春率兵抵达河阴，徐达立即统领北伐大军从河阴启程东进。当晚，徐达率部进驻陈桥，明朝北伐大军进攻元都，推翻元朝的战斗即将打响。
与此同时，其时滞留在开封的明太祖也设法支持徐达所部的行动。如六月二十六日，赏赐北征诸将夏衣；二十七日，升任都督同知冯宗异为征虏右副将军，以加强北伐军的领导力量；七月初四，明太祖又亲自绘制“征进阵图”，派人送给大将军徐达，而且下令各卫粮船齐赴济宁，为徐达所部北伐大军运输粮饷、器械等物资。七月十一日，明太祖又以敕督促大将军徐达等迅速出兵河北，同时令徐达檄调山东、江苏部分官兵会师东昌，等待北取元都之命，说：“将军驻师河洛，养精蓄锐，经营布置，已见功绩。今军中士卒皆贾勇思奋，况秋气已近，粮饷粗足，乘机进取，维其时矣。宜调益都、徐州、济宁诸将，各将精锐悉会东昌，以俟征进。”
洪武元年（1368年）七月二十一日，大将军徐达命都督同知康茂才为先锋，率部自陕州北渡黄河，进取安邑等县。从此，北伐战争进入了一个新的阶段。
七月二十三日，前线传来喜报，安邑、夏县不战而降。同一天，徐达又特地从陈桥赶到开封，向即将启程返京的明太祖告辞。
明太祖启程回京后，徐达加紧了调兵遣将的步伐。七月二十九日，徐达檄令都督同知张兴祖、平章韩政、都督副使孙兴祖、指挥高显等，率领益都、徐州、济宁之师，会于东昌。同时，他命令右丞薛显、参政傅友德、左丞赵庸、平章曹良臣、俞通海、都督副使顾时、右丞梅思祖等“各领军卫，分布士马渡河”。闰七月初一，明太祖遣使犒劳徐达所部北征将士。这一切，预示着徐达所部大规模的军事行动即将开始。
洪武元年（1368年）闰七月初二，大将军徐达从开封启程，统领大军北渡黄河，进取豫北州县。当天，徐达率部入驻封丘，先遣右丞薛显、参政傅友德等率兵往攻卫辉，元守将平章龙二弃城逃往彰德。初三，徐达兵至淇门镇。参政傅友德将所俘获嘉县县尹胡仲信送至军前，徐达命令胡仲信随从镇抚王处仁驻守卫辉。初五，徐达师至彰德，元平章龙二再次出逃，元同知陈某等出降，右丞梅思祖奉命统和阳卫兵驻守彰德。第二天，龙二部将杨义卿率兵船80艘来降。至此，豫北告克，河南全境基本纳入明朝政府版图。
闰七月初七，徐达继续统兵北向，进占河北磁州。在此，徐达派人返回河南虢州，征调指挥王臻率部北上，命其负责守卫漳河。次日，徐达师至邯郸，元守将出逃。初九，徐达率部进抵广平路治所所在地永年，元平章周昱先弃城逃走，于是大军进驻城中。同一天，邯郸县县尹都文玉率耆老24人来降。
闰七月十一日，徐达遵照明太祖的指令，率军东向，从广平再度进入山东，驻军临清。随后，徐达派人前往东昌，督促早已在此待命的都督同知张兴祖等率部前来会师，同时檄令驻守乐安指挥华云龙率兵赶赴临清，随大军北征。
由于黄河以北地区“兵革连年”，北伐军所到之处，不仅“人烟断绝”，而且“道路皆榛塞”，徐达所部北伐大军行进十分困难。在徐达进驻临清的第二天，即闰七月十二日，参政傅友德部下游骑抓获了元将李宝臣、都事张处仁，并让他们充当该部的向导，徐达因此顺势派傅友德率部“开道以通步骑”，同时命都督副使顾时“浚闸（意为疏浚运河水道）以通舟师”。十四日，副将军常遇春率兵攻克德州，擒获元参政哈剌马纳。至此，山东全境也基本纳入明朝版图。
闰七月十五日，在平章韩政、都督副使孙兴祖率部抵达临清，与主力成功会师后，徐达立即下令韩政留守东昌并镇抚临清，自己亲自统率大军，水陆并发，向北挺进。师至德州后，常遇春、张兴祖及指挥高显、毛骧、程华等都率部前来会师。二十日，徐达师至长芦，元守将左佥院逃走，指挥费子贤等奉命留守长芦。随后，徐达率军直逼清州。占领清州后，徐达又派人传令费子贤分兵驻守清州。
闰七月二十三日，徐达兵至直沽，缴获元军7艘海船，并用它们连接成浮桥，使北伐大军顺利渡过了海河。紧接着，徐达命副将军常遇春、都督同知张兴祖各率舟师沿海河两岸向前推进，自己统领步兵、骑兵出陆路，同时朝元大都方向进发。元朝廷派往海口抵御徐达所部北伐军的丞相等也速望风奔逃，因此“元都大震”。
闰七月二十五日，徐达师至河西务，元平章俺普达朵儿只进巴率兵迎战。经过激烈交锋，徐达所部终于大败元军，生擒元知院哈剌孙及其他文武官员三百余人，缴获马600匹、船百余艘、粮2600石，俺普达朵儿只进巴等脱逃。于是，徐达率部进至通州，扎营于城外运河东岸，同时令常遇春分营运河西岸。
闰七月二十七日，徐达命卫吏田中为通州判官，掌管州政。在田中等地方官员的协助下，徐达共收集到粮食4500石，保证了所部北伐大军的粮食供应。当日，元国公知院卜颜帖木儿等率兵自都城前来迎战，常遇春率部大败敌军，生擒卜颜帖木儿及元副枢也先迭儿、脱脱帖木儿，缴获马400匹、船百余艘。同一天，元顺帝诏令宗室淮王帖木儿不花监国，与中书左丞相庆童“共守京城”。
闰七月二十八日，徐达统率各路官兵入驻通州城。元顺帝得报后，大为恐慌，立即在清宁殿召集三宫后妃、皇太子、皇太子妃商议避兵北行之事，接着又召唤群臣会议于端明殿。左丞相失烈门、知枢密院事黑厮等都劝元顺帝固守京城，元顺帝不听。当晚三更时分，元顺帝及其后妃、太子等悄悄打开建德门，溜出京城，经过居庸关，奔往上都。
元顺帝等北逃以后的几天中，徐达所部仍然滞留通州。闰七月二十九日，徐达还曾下令都督副使孙兴祖督军修筑通州城。
八月初二，徐达命令马指辉留守通州，亲统大军进取大都。当天，徐达兵抵齐化门，命令将士填塞护城壕沟，蚁附登城，抢攻而入。城破后，徐达率兵入城，坐镇齐化门楼，擒获元监国宗室淮王帖木儿不花及太尉中书左丞相庆童、平章迭儿必失朴赛因不花、右丞张康伯、御史中丞满川等官吏十余人，论以“奉职无状且不先纳款”之罪，将其处死。另外，徐达所部俘获了元王子6人，缴得玉印2颗、成宗王玉玺1颗。同时，徐达又下令查封元朝府库及图籍宝物等；命令封闭故宫殿门，并委派指挥张焕率兵一千人负责守卫；传令宫中太监仍负责看护故元官人、妃嫔等，“给饩廪无缺”，并且“号令士卒不得侵暴”。因此，大都城中秩序井然，“人民安业，市肆不移”，消息传出后“远近悦服”，纷纷称赞说：“曹彬下江南，伯颜入临安，不是过也。”当天，徐达还下令：“凡元朝大小诸臣，皆令送告身于官，署民籍中，违者有罚。”至此，入主中原半个多世纪、由蒙古族建立起来的元朝政权正式宣告灭亡。
八月初三，大将军徐达派部下指挥邓晘赶往京师报捷，并写了一份长达七百多字的表文，主要包括了以下几个方面的内容：
第一，徐达分析了元朝灭亡的原因。他认为元朝之所以灭亡，主要原因有三：一是元朝气数已尽、天命已绝；二是元朝后嗣之君昏庸无道；三是丧失民心。
第二，徐达探讨了明太祖所部得以挫败元末群雄、建立明朝并最终推翻元朝政权的原因。他认为明朝政权能有今天的成就，主要也是由三个方面的原因造成的：一是明太祖奉天承运，接替元主君临天下；二是明太祖个人天生圣明、智勇双全；三是明太祖的举措深得民心，天下英雄豪杰趋之若鹜。
第三，徐达汇报了北伐战争的主要经过及所部北伐将士一路势如破竹、元主仓皇出逃、大都居民热烈欢迎北伐将士的到来等情形。
八月十三日，徐达所部将士攻克大都、推翻元朝政权的捷报传到了明朝京师应天。第二天，朝廷群臣上表庆贺，明太祖改“大都路”为“北平府”。十月十一日，明太祖又以攻克元朝大都等事诏告天下。至此，徐达所部历时近一年、行程达数千里的北伐战争正式宣告胜利结束。