自从朱元璋渡江占领太平后，其地盘就与陈友谅辖区接壤。陈友谅是沔阳玉陟县（今湖北沔阳西南沔城）人，出身渔家，原姓谢，因祖父入赘陈家，后姓陈。陈友谅武艺高强，力大如牛，小时候读过几年书，略通文史，曾在衙门里做过一段文书，后回家与其弟友仁、友贵聚众起义。不久，迫于官兵的围剿，投奔徐寿辉。初期隶属徐寿辉部将倪文俊统领，后因功升为领兵元帅。
徐寿辉是罗田的布贩，又名真逸，亦称真一，人缘好，在江湖上结交了不少朋友。他身材高大魁伟，相貌出众，以后加入了彭莹玉领导的弥勒教，被彭莹玉推为首领，说他就是弥勒佛下世，当为人主。元至正十年（1351年）八月，他们焚香聚众，起兵反元。九月，攻占了蕲水和黄州后，以蕲水为都城，立徐寿辉为皇帝，国号天完，年号治平。
后起义军分兵两路，一路由邹普胜、倪文俊率领，攻取汉阳、武昌等地；一路由彭莹玉、项甲率领，攻占江州（今江西九江）、饶州（今江西部阳）等地。由于起义军纪律严明，不杀、不掠、不奸淫，口念弥勒佛号，深得百姓拥护。不到一年的时间，天完政权已占领了湖北、湖南、江西、安徽南部和浙江北部大片领土。不幸的是彭莹玉在杭州遭到元军主力袭击，与项甲壮烈牺牲。徐寿辉除了人缘好，政治方面比较平庸，没有多少才干。彭莹玉一死，徐寿辉失掉了靠山，在迁都汉阳后，大权就被丞相倪文俊掌握。元朝对他采取诱降的政策，倪文俊贪图高官显爵，归降了元朝。元朝封他为湖广行省平章。
元至正十七年（1357年），倪文俊想谋害徐寿辉未遂，事发后他率众跑到了陈友谅的辖区黄州。陈友谅趁机杀了倪文俊，吞并了他的队伍，自称平章。1357年10月，常遇春夺取原属徐寿辉的池州后与陈友谅发生冲突。第二年4月，陈友谅令赵普胜率军夺回池州。1359年4月，徐达又命令俞通海等率兵出击，再次夺回池州，双方展开了拉锯战。
为确保应天安全，巩固扩大江南根据地，朱元璋命徐达攻取安庆。当时安庆守将是赵普胜，此人骁勇善战，拼死守城，徐达等久攻不下。朱元璋获悉后，详细分析了陈友谅与赵普胜的情况，认为在他们之间有踪可乘，利用陈友谅猜忌、多疑，怕赵普胜超过他的心理，决定利用离间计，除掉赵普胜，而后再取安庆。
当时就实力和名望而论，陈友谅最大的政敌是赵普胜，赵普胜是天完红巾军最早的将领之一，不论是在反元战争中，还是在与朱元璋的作战中都立有战功，论资历在陈友谅之上。特别是赵普胜占领安庆后，力量增强。陈友谅妒忌他功在自己之上，又怕他与朱元璋合作，因此，把赵普胜看成是自己篡权的最大障碍。
朱元璋针对赵普胜英勇而少谋略，陈友谅挟主胁众，内部异心，互相猜忌的特点，使用离间计，先派人暗中结交赵普胜的门客，再将一封写给门客的信故意误送给赵普胜。赵普胜对门客起了疑心，门客不得已投奔了朱元璋。朱元璋赏给门客重金，后又派他去找陈友谅。朱元璋使计让陈友凉误以为赵普胜想投奔朱元璋。反间计果然奏效。9月，陈友谅以会师为名，亲至安庆，杀了赵普胜。至此朱元璋又削掉陈友谅一个臂膀，但安庆仍未攻克。
1360年，陈友谅挥师东下，欲取池州。朱元璋急忙从浙东调回常遇春，同徐达一起镇守池州。接着又遣使对徐达、常遇春说：“陈）友谅兵日暮且至，尔当以五千人守城，遣万人伏九华山下。俟彼兵临城，城上扬旗呜鼓，发伏兵往绝其后，破之必矣。”陈友谅派重兵进攻池州，直逼城下，来势极为凶猛。这时徐达、常遇春等早已按照朱元璋的旨意做好了迎战准备，敌军一到，守城官兵在城上扬旗鸣鼓，九华山下“伏兵悉起，缘山而出，循江而下”，从阵后直捣敌军。城内官兵乘势杀出，前后夹击，大败陈友谅兵。此役，徐达等歼敌共计一万余，生擒三千余，给了陈友谅当头一棒。后来陈友谅为了掩饰自己的尴尬，也为了维持与朱元璋表面和好的局面，特地派使者前往应天面见朱元璋，声称：“此战非我意，乃巡边者偶战耳。”
然而，徐达、常遇春在协力大败陈兵后，却在如何处置三千余名战俘的问题上产生了严重的分歧。常遇春主张杀死全部战俘，说：“此皆劲敌也，不杀将为后患。若以上闻，上（指朱元璋，即后来的明太祖）必不杀。”但是徐达坚决反对，说：“今天下战争方始，不可多杀以绝其归附心。”显而易见，徐达之所以不同意屠杀俘虏，主要是因为他担心杀俘的消息泄露出去后，会损害己方的形象，使有意降附的敌军将士望而却步，增加日后攻城掠地的阻力。除此之外，这很可能还与身为朱元璋部将之首的徐达素具智略、秉性仁厚，以及他也料到朱元璋不会同意杀俘，且他不愿忤逆朱元璋的意愿等有关。后来，由于两人争执不下，只好派使者上请朱元璋裁决。使者到达应天后，朱元璋果然不同意杀俘，而且命令使者立即返回池州，传令徐达、常遇春等：“今战争方始，不可纵杀以绝人望，三千精锐宜释之，使为后用。”但是，在使者回到池州前，常遇春还是不顾徐达的劝阻，在一天夜里擅自下令将三千余名俘虏坑杀掉十分之九。徐达将常遇春擅杀战俘之事报告给朱元璋后，朱元璋对常遇春非常不满，命令徐达将剩下的三百名战俘全部释放。杀俘惨剧发生后，朱元璋对自己委派常遇春前往池州与徐达共掌兵权，两将并设导致事权不一的做法后悔不已，说：“此吾所不一将之过也！”而且引以为戒，日后凡有征战，只要徐达出马，就命他“尽护诸将”。因此，徐达“自是专为大将矣”。
就在这一年的五月初一，陈友谅亲率舟师十万，挟徐寿辉东下，绕过池州，进攻太平，朱元璋守将花荣战死。接着又攻占了采石，在采石，陈友谅杀死徐寿辉，自称皇帝，并冒着暴风雨在采石五通庙就帝位，国号大汉，改年号为大义，以邹普胜为太师，陈必先为丞相，并占有江西、湖广之地。陈友谅弑君称帝后，志得意满，他认为横扫江东，吃掉朱元璋易如反掌，顺流而下取应天，指日可待，于是他派人约张士诚一起进军应天。
当时群雄中属陈友谅军力最强，舟师十倍于朱元璋，他拥有混江龙塞断江、撞倒山、江海鳌等一百多艘大舰，还有战船数百条，应天的文武官员听说陈友凉东下取应天，不少人惊慌失措，有的主张投降，有的主张上钟山据守，也有的则主张放弃应天，保存实力，再作计较。还有的主张主动出击太平，牵制陈友谅的兵力。
朱元璋没有理睬诸将的议论，只是将谋士刘基请进密室，向刘基请教退敌之策。早些时候刘基曾向朱元璋建议：要先打陈友谅，后灭张士诚，指出张士诚是想保住他那块地盘，胸无大志，可暂时不理会他。陈友谅就不同了，他挟持徐寿辉名号不正，又地据我们上游，野心勃勃，其心无日忘我，是主要的敌人，应该集中力量先打他。灭了陈友谅，张士诚势单力薄，便一举可定，然后北伐中原，可成王业。这回陈友谅已经打到大门口了，刘基仍建议，集中兵力先击陈友谅。两人仔细研究了东西线形势，决定实行战略转移，集中兵力向东北和西线出击，并与刘基一起制定了一个诱敌深入、设伏歼敌的作战方案，一场保卫应天的战役打响了。
朱元璋利用陈友谅骄傲轻敌、求胜心切的心情，设计诱其快速进兵应天。他指令陈友谅的好友康茂才向陈友谅诈降。康茂才按朱元璋的意思先给陈友谅写了一封诈降信，然后再派一个曾侍候过陈友谅的老门房绐他送信，表示愿做内应，并建议陈友谅分兵三路攻应天。陈友谅信以为真，并向老门房打探康将军驻扎何处。老门房说现在江东桥（今南京江东门附近），最后约定与康茂才在江东桥汇合，暗号“老康”。老门房回来向朱元璋作了汇报。朱元璋立即做了部署，命李善长连夜把江东桥拆掉，改成石桥。命赵德胜修建虎口城，驻兵把守。命常遇春、冯胜、华高等领兵三万埋伏于城东北的石灰山（今南京幕府山）侧；令徐达率军列阵于南门外雨花台一带；令张德胜、朱虎率舟师在城西北的龙江关外（今南京兴中门外）设伏。朱元璋亲率主力埋伏在城北的卢龙山（今南京狮子山），并规定敌人进入埋伏圈后，举红旗为号，举黄旗时，伏兵出击。
五月初十，陈友凉率舟师东下，直奔应天，赶到江东桥时，发现是石桥不是木桥，大吃一惊，忙呼“老康”，又无回应，方知受骗，忙将友仁率领的一千多艘战船回撤龙湾，再急命一万士卒登陆。此时，朱元璋在卢龙山顶居高临下指挥战斗，下令擂响战鼓，举起黄旗，伏兵四起，喊声震天；常遇春、冯胜率伏兵冲向龙湾，徐达也领兵从南门杀到，会同张德胜、朱虎的舟师，将陈友谅的兵马团团围住，分而歼之。汉军将士争相登舟。时值退潮，战舰全部搁浅，汉军被杀死、淹死的不计其数，二万人被俘。陈友谅乘小船才幸免逃脱，狼狈向江州逃窜。陈友谅部将张志雄、俞国兴等投降，朱元璋大获全胜。
张士诚原本就未发兵，现见陈友谅兵败，更是按兵不动。
应天保卫战，充分显示出朱元璋驾驭战争的能力，在敌强我弱的形势下，他能寻找战机，抓住机遇，变被动为主动，并精心导演了这次战斗。这次保卫战的各个环节均未超出朱元璋事先的设计，初步显露出他军事家的天赋。朱元璋抓住陈友谅骄傲轻敌的弱点，诱敌上钩；又借助应天地理形势复杂的有利条件，将陈友谅巨舰引入狭窄的河道；又巧妙准确地掌握江水涨潮、退潮的时机，使之搁浅，逼敌军弃舟登岸，避开敌军善水战之长，发挥自己善陆战的优势，以少胜多，以弱胜强，使应天转危为安。
朱元璋根据降将张志雄提供的消息，获悉安庆守敌此次倾巢而出，大部已降，安庆空虚，立即派余元帅率军攻克安庆。不久，胡大海夺占了信州。袁州守将欧普祥原是徐寿辉的部下，早就对陈友谅不满，九月他也献城投降了朱元璋。四川的明玉珍得知徐寿辉被陈友谅杀害的消息，下令封锁瞿塘峡，与陈友谅断绝关系，并在重庆为徐寿辉立庙，随后自己称帝，建立大夏国。陈友谅自食恶果，陷入了众叛亲离的境地。
1361年1月，大宋政权小明王封朱元璋为吴国公。朱元璋根据军事斗争的需要将枢密院正式改为大都督府，任命朱文正为大都督，节制内外军事。
陈友谅对此次失利很不服气，7月，他命张定边又夺回了安庆。朱元璋大怒，决定亲自统兵朔江西伐。他率徐达、常遇春诸将，在龙骧巨舰上树起了大旗，上面书写“吊民伐罪，纳顺招降”八个大字。汉军沿江望风逃窜，但安庆守军拼死抵抗，一时难以拿下。刘基向朱元璋建议，他说：友谅以重兵守安庆，后方必然空虚，可先取陈友谅老巢江州。朱元璋接受了刘基的建议，率师直捣江州，守长江天险小孤山的将军傅友德，丁普郎率众投降。陈友谅仓皇逃往武昌，江州被攻克，朱元璋乘胜追击，扩大战果，南康、东流、蕲州、黄州、广济、兴国、抚州相继被攻克。接着，建昌（今江西南城）守将王溥向朱元璋投降，王溥派人还招降了南丰州及临川等八个县城，就连陈友谅的江西行省丞相胡廷瑞、平章祝宗也派人向朱元璋请降，朱元璋答应了他们的要求。第二年正月，朱元璋亲往龙兴受降，并将龙兴路改为洪都府。不久，吉安、龙泉的守将也归降朱元璋。至此，江西各州县和湖北东南大部全都纳入了朱元璋的管辖范围。
从应天保卫战到洪都归降，仅一年多的时间，双方的军事力量已经发生了逆转，弱者逐渐变强，朱元璋已经有实力和陈友谅决一雌雄。1362年2月，朱元璋返回应天，他再次召集诸将研究下一步的战略。经过对东西两个敌对势力的比较分析，他指出：“友谅剽而轻，其志骄，士诚狡而懦，其器小，志骄则好生事，器小则无远图。若攻士诚，友谅必空国而来，是我疲于应敌，事有难为，先取友谅，士诚必不能逾姑苏一步，以为之援。”于是，朱元璋强调：今后的战略仍是先攻陈友谅，后灭张士诚。
正当朱元璋与陈友谅在江南鏖战的时候，江北的军事形势却发生逆转，红巾军接连失利，形势岌岌可危。朱元璋面对这突如其来的变化，不得不停止与陈友谅的战事，将注意力转向江北。北方主要是大宋政权，而大宋政权的顶梁柱是刘福通。刘福通意志坚强，胆略超群，他令三路大军同时北伐，取得了赫赫战绩，但同时也暴露了他的失误和弱点：三路北伐军不能很好协调，各自为战，很容易为元军分割包围，各个击破；而中路军和西路军长年流动作战，缺乏后援，孤军深入，很难坚持长久；另外，农民阶级自身不可避免的散漫性、保守性和狭隘性，导致他们没有远大的志向，纪律涣散，有令不行，甚至互相攻击，投降变节，这些均削弱了起义军的力量。元朝政府正是利用起义军的这些弱点和失误，调来察罕帖木儿等数支地主武装，向起义军进行疯狂的反扑。
在三路北伐军中，较有作为的当属毛贵领导的东路军。1358年，东路军挺进河北，后进入山东等地，毛贵在占领区采取了一系列政治、军事、经济措施，稳定了山东的政局。他招降了“义兵”田丰、俞宝、王士诚等人，发展壮大了东路军的军事力量；他还设立机构，选用元朝的官吏分守各地，在莱州地区屯田，向官田、民田收取十分之二的租税，解决了军粮供应。
1359年5月，察罕帖木儿对大宋都城汴梁进行围攻。刘福通率红巾军力战，未能打破元军的包围。8月，察罕帖木儿率诸将猛攻汴梁，破城而入。汴梁失陷，刘福通保护小明王，退守安丰。此后，察罕帖木儿调集各路之军向山东发起猛攻。8月，山东诸郡县多被元军攻陷。田丰、俞宝、王士诚也投降了元军。只有陈猱头坚守益都，与安丰相呼应。第二年6月，在陈猱头的鼓动下，田丰、王士诚刺杀了察罕帖木儿，所部由其外甥扩廓帖木儿率领，继续加紧围攻益都。
江北军事形势这种急转直下的变化，使朱元璋备感焦虑。汴梁被攻克，山东地区也大部失陷，朱元璋的北方屏障有全线崩溃的危险。几年来，朱元璋再清楚不过了，他之所以在江南地区从容发展，主要是大宋红巾军在北方为他作掩护。如今局面突变，万一安丰再失守，朱元璋直接会受到元军主力的进攻。他考虑再三，认为，直接和元军主力硬拼时机不成熟，于是，他决定向察罕帖木儿求和，先稳住对方。他两次派使臣去见察罕帖木儿，并送上重礼和亲笔信，要求通好“结援”。元顺帝得知朱元璋遣使与察罕帖木儿通好的消息，还真有招降朱元璋的意思，并决定授予朱元璋荣禄大夫、江西等处行中书省平章政事。他派户部尚书张昶、郎中马合谋等带着御酒、八宝顶帽和宣命诏书走海路到了方国珍处。方国珍两次派人向元璋说明元朝使臣到达情况。由于当时北方战局还未明朗，朱元璋没有理睬，直至1362年12月，张昶一行才到达应天。元朝也在当月，将先前扣留的朱元璋使臣送回应天。就在这时察罕帖木儿已被田丰等刺死，由其外甥扩廓帖木儿继为统帅。不久，又获悉扩廓帖木儿与元朝另一大将孛罗帖木儿在争夺地盘，双方打得不可开交。眼下元军不会南下，于是改变了与元朝通好“结援”的想法。
当张昶带着元朝官诰到应天招降的时候，守海人（今山东年平）儒士叶兑上书朱元璋，劝他不要接受元朝的册封，自创局面立基业，并为朱元璋平定东南和两广拟定策略和步骤。他指出，在北面与察罕帖木儿断绝，在南面兼并张士诚；招降温、台；夺取闽、越，定都建康，招地江广，进一步可以越过两淮北征，退一步也可在长江自守。朱元璋觉得这一攻取战略很有见地，想把他留在自己身边，但叶兑执意不肯。朱元璋决心采纳叶兑的建议，立足江东，逐步实现叶兑所提的战略步骤。
张昶在元朝做过多年大官，熟知朝章典故、名物制度。元璋爱其才，白天，元璋下令将他们捆绑起来；夜里，将张昶一人留下，用一死囚做替身，与马合谋押至聚宝门外斩首。几天后，任命张昶为侍中书省都事，并对刘基、宋濂讲：“元朝进一大贤人与我，尔等可与之议论。”
朱元璋最后拒绝了元朝的招降，但他这种欲叛未遂的行为却产生了不良的影响，导致他的不少部将叛变投敌，使众多忠诚且立有汗马功劳的战将惨遭不测。如胡大海、耿再成、朱文刚、万思成、叶琛等惨遭杀害。他们不是死在前线，而是被叛徒杀害，给应天带来了重大的损失。
再说扩廓帖木儿继任主帅后，加紧围攻益都，形势急迫。刘福通亲率大军援救，结果大败而归。1362年10月，益都失陷，陈猱头、田丰、王士诚被杀，大宋政权在山东的据点全部丧失。益都失陷，安丰孤立。第二年2月，张士诚派部将吕珍领兵十万帮助元朝进攻安丰，刘福通率领红巾军拼死保卫，弹尽粮绝，竟出现了“人相食”的惨状。刘福通向朱元璋求援。朱元璋获知安丰危在旦夕的情况后，决定出兵救援，刘基等极力反对。刘基说：“如果大军出救安丰，张士诚、陈友谅势必乘虚来攻，就会进退无路陷于被动。即便救出小明王，又如何安排。放在应天，就得听他调遣，自找没趣；不放在应天，又放到何处？”朱元璋力排众议，他认为安丰失守，应天就失去屏障，救安丰就是保应天，这才是关键，是大局，其他均好解决。于是他不顾刘基等人的阻拦，决定亲征，并命徐达、常遇春等急赴安丰。不想，等他们到达安丰时，刘福通已经战死，安丰已被吕珍占领。朱元璋率军激战，击败吕珍，又击退前来助吕珍的左君弼。吕珍和左君弼相继逃跑，安丰解围。朱元璋迎小明王到滁州，建造宫殿，厚加供养，将原左右侍从全部换成朱元璋的心腹，表面上非常尊崇，实际上朱元璋将小明王完全控制在自己手中。至此，大宋政权已名存实亡，刘福通所领导的北方红巾军宣告失败。但是刘福通作为元末农民战争的发动者和组织者，其功德不容抹杀。他率领北方红巾军主力，并适时组织了三路大军北伐，吸引并消灭了大批元朝主力部队、地主武装，从根本上动摇了元朝统治。可以这样说，没有刘福通领导的北方红巾军的英勇奋战，就没有江南根据地的建设和发展，更不会有朱元璋代元建明的这一结局。
1363年3月14日，小明王在滁州详制书，封赠朱元璋三代；曾祖父朱九四为资德大夫、江西等处行中书省右丞、上护军、司空、吴国公；曾祖母侯氏为吴国夫人；其父朱五四为开府仪同三司、上柱国、录军国重事、中书右丞相、太尉、吴国公；母亲陈氏为吴国夫人。从小明王封赠其父的官爵看，此时朱元璋的官阶应是大宋政权中书右丞相了，位居一人之下，万人之上。
陈友谅得知朱元璋率主力北援安丰的消息后，认为元璋后方空虚，正是报仇雪恨的好机会。他下令赶造巨型战舰数百艘，舰高数丈，一色丹漆，上下三层，层层均有走马棚，最下层又设板房，装有几十支大橹，橹舟全用铁皮包裹，上下层之间密闭隔音。大舰可载人3000，中等舰也可载人2500人，小一点的战舰可载人2000.陈友谅为补充兵源，还在他控制的湖、荆等地征集大量民夫和壮丁。1363年4月，陈友谅亲率号称六十万的水陆大军，携带家小与百官，倾国出动，顺江而下，直逼洪都。
再说洪都，它位于赣江下游，北接鄱阳湖与长江相通，其有重要的战略位置，西南紧靠赣江，上次陈友谅夺取此城，是趁水涨船高，从船上直接攀附城墙而攻入城内的。朱元璋夺取洪都后，马上下令将原城墙拆除后移三十步。因洪都地理位置重要，是抗拒陈友谅的前沿。“非骨肉重臣不可守”，于是朱元璋特命亲侄子朱文正统领虎将赵德胜、邓愈以及其他诸将镇守洪都。4月23日，陈友谅率大军六十万抵达洪都城下，发现城墙远离江面三十步远，战舰无法靠近，用老办法攻城行不通了，只好下令登陆，用云梯等攻城。几十万大军云集在不大的一块地方，小部分人攻城，大队人马围在一旁使不上劲，人多的优势发挥不出来，朱文正派诸将日夜据守各城门，自己亲率2000精兵，居中机动策应。陈友谅也亲自督战，猛攻抚州门，一度曾毁坏城墙三十多丈。猛将邓愈指挥军士用火铳击退汉军，竖起木栅掩护筑城。陈友谅又指挥汉军拼死抢夺木栅，此时朱文正率精锐赶到，指挥将士奋勇抵抗，边打边修筑，竟然在一夜之间又重新修好城墙。5月初，陈友谅又亲率汉军攻新城门，守将薛显率精勇开门迎击，斩杀汉将刘进昭，生俘赵祥，击败进攻。6月中旬，陈友谅亲自督战猛攻宫步、上步两城门，赵德胜率军奋击来敌，不幸中箭身亡，但城门坚固，汉军再次受挫。洪都被围数十天，陈友谅用尽了攻城之术，朱文正也绞尽脑汁使用御敌之法，双方战斗异常激烈，多次出现拉锯战，城墙多次被攻破，朱文正又多次指挥将士用火铳将汉军击退，护住城墙，一座洪都孤城坚如磐石，陈友谅竟然寸步难行。朱文正及诸将士坚守洪都长达85天仍未被攻破，从士气上压倒了陈友谅，为朱元璋赢得了反攻的时间，也为消灭汉军获得了难得的战机。
1363年七月初六，朱元璋率舟师二十万，统领徐达、常遇春、冯国胜、廖水忠、俞通海等诸将，儒士刘基、陶安、朱升等也随军出征。七月中旬，二十万大军未遇任何阻拦顺利到达鄱阳湖北口。十九日，陈友谅听到朱元璋率师来援的消息后，撤洪都之围，率舟师东出鄱阳湖，一场惊心动魄的鄱阳湖大战拉开了序幕。
朱元璋率舟师进入鄱阳湖，在双方交战前告诫将士“两军相争勇者胜”。“诸将士要奋勇杀敌，只能前进，不许后退，消灭陈友谅就在今日。”二十日，两军在康郎山（今江西都阳湖内康山）水域首战。从两军力量对比看：陈友谅兵多、舰大，联舟布阵地处上游；元璋人少、船小，且居下游，按人力和装备明显处于劣势。但朱元璋部将士团结、士气旺盛，战斗力极强。船虽小，但转动灵活，可进可退。于是，朱元璋将自己的战舰分成十一队，每队配有火器和弓箭，主要战术采用火攻。火器的种类相当齐全，有火炮、火铳、火箭、火蒺藜，大小火枪、大小将军筒、大小铁炮等。而且每舰分作几层，遇到敌军大战舰时，先发火器，再射弓箭，靠近敌舰后，再短兵格斗。尤其是二十一日这天，战斗异常激烈，徐达、常遇春、廖永忠等猛将一马当先冲入敌阵，双方短兵相接，喊杀声震天动地，箭如雨点，炮声如雷，刀光火光飞舞，江水似波涛，百里之内杀得连湖水都红了。徐达身先士卒，率部击败敌前军，击毙敌人1500人，缴获巨舰一艘，军威大振，士气倍增。水军勇将俞通海威风凛凛，连连发炮，焚毁敌船二十余艘。战斗中元璋的指挥舰“白海”号，突然搁浅，陈友谅部将张定边乘巨舰袭击朱元璋，他一声号令，四面汉兵蜂拥而至，把朱元璋困在核心。朱元璋指挥程国盛与宋贵、陈兆先等拼死抵抗，宋贵、陈兆先身受多处创伤，英勇战死，朱元璋也不禁失色。正在危难之时，牙将韩成上前说：“古人杀身成仁，舍生取义，是臣子理所当然的，臣愿代死，以报厚恩。”请求换穿朱元璋的衣冠。朱元璋心中不忍，但转眼看到敌舟呼声愈近，危在旦夕，只好如此。韩成换好朱元璋的衣冠，投入水中，敌兵以为朱元璋已死，进攻稍缓，但张定边却不肯退。危难之际，常遇春率舰救主，一箭射中了张定边。敌舰慌忙撤退，此时俞通海也驾舰救援，舰行如飞，湖水骤涌，浪涛翻滚，“白海”趁机启动，元璋获救。这一仗打得惊天动地，元璋虽取得胜利，但仗打得相当艰苦。陈友谅损兵折将六万余人，朱元璋也战死7000将士，骁将陈兆先、宋贵、韩成、程国盛等皆战死。二十二日，战斗进入第三天，朱元璋仍亲自布阵，亲自指挥，双方打得难解难分。朱元璋爱将张志雄在危险之际，不能脱身，遂自刎身亡；丁普郎身受十余处创伤，仍奋力拼杀，头落而身立，敌惊为神。徐公辅、徐昶、陈弼皆壮烈牺牲，右军被迫后退。郭兴向元璋建议：加大火攻。他立即采纳，令常遇春征调七条渔船，装上芦苇、火药等易燃物，乘黄昏风起，由廖永忠、俞通海率敢死队驾舟冲向陈友谅水军大寨。熊熊大火将水寨点着，几百艘战舰起火，顿时烈火熏天，湖水尽赤，死者大半，陈友谅兄弟陈友仁、陈友贵以及平章陈普略全被大火烧死。朱元璋将士乘势猛攻，斩敌2000.陈友谅非常痛心的是其弟友仁阵亡，他骁勇善战且有智谋。陈友谅痛失一得力助手，心情非常沮丧。
陈友谅为了摆脱不利的战局，利用自己舰大、人多的优势，虽然局部战败，但决不后退一步，步步紧逼，不给朱元璋喘息调整的机会。战斗进入白热化，而且仗越来越难打。此时朱升向朱元璋建议：“陈友谅此次倾国兵而来，人多但粮少，不能持久作战，我师应结营于南湖嘴，以断绝敌人的进出之路，等待他粮尽、人马疲惫、进退两难之时，我军再前后夹击，必克敌制胜。”朱元璋采纳了他的建议，先移师都昌（今江西都昌西北），后又移师湖口，令常遇春、廖永忠统舟师截住鄱阳湖口。
在与陈友谅激战的日日夜夜里，朱元璋除了制定作战方案外，还屡次亲临前线指挥战斗，有好几次身边的卫士全都战死，他仍坚持督战。他的坐舰被炮石击碎过，指挥舰也曾在战斗中搁浅，他临危不惧，骁勇善战，激励将士奋勇向前，始终与将士们战斗在最前沿，使部队始终保持着旺盛的斗志，他的大帅风度也备受诸将钦佩。战争进入后期，他下令释放全部汉军俘虏，有伤者赐药治疗，悉数遣送回家。朱元璋的做法与陈友谅形成鲜明对比，朱元璋大得军心、民心、人心，这也是他能够打胜这次战役的一个重要因素。
再说陈友谅在与朱元璋的对峙过程中，屡战屡败，损兵折将，无奈之下他一改独断专行的作风，召集部将征求意见，右金吾将军建议焚舟登陆，直趋湖南；左金吾将军则主张继续打下去。起初陈友谅犹豫不决，后因战局越发对他不利，于是采纳了右金吾将军的建议。此时已是军心不稳，人心惶惶。左金吾将军怕陈友谅问罪，率部先投降了朱元璋。右金吾将军见他投降，左思右想，觉得陈友谅大势已去，气数已尽，也率部归降朱元璋，陈友谅的军力大为削弱。朱元璋抓住陈友谅暂不交战的时机，又分兵夺取了蕲州、兴国，然后坐镇湖口，静候与陈友谅最后决战的时机。
过了近半个月，陈友谅未敢交战，朱元璋给陈友谅致书一封，说“我曾派遣使者前去，不见回转，你的度量为何如此狭小？江淮英雄，唯有你我，又何必互相吞并。我已得到你的疆土，纵然你力驱残兵，死战城下，也不可能恢复了。假使侥幸逃回，也该修德，不要再做欺人之事，应当取消帝号，等待真主，否则丧家灭门，追悔不及。”陈友谅心中非常气愤，也不作答。
陈友凉被围鄱阳湖，此时粮草将尽，他派兵率战船500艘去都昌抢粮，被朱文正拦击，船全部烧毁。陈友谅已是山穷水尽，八月二十六日，他亲率百余艘战舰突围，企图抢占南湖嘴，驰入长江。在湖口遭朱元璋舟帅猛烈攻击，溃不成军。朱元璋神色自若，在如雨的飞箭中稳坐胡床指挥战斗，突然朱升猛推他进船舱，他刚一离身，汉军的流矢已射中胡床板，惊得众人一身冷汗。激战中，陈友谅想察看外面战况，刚把头伸出窗外，就被郭英发现，一箭命中头部，当场毙命。主帅一死，汉军将士皆无斗志，无心恋战，5万余人投降，太子被俘。张定边等用小船载着陈友谅尸体和儿子陈理，连夜逃回武昌，不久，立陈理为帝。鄱阳湖战役结束后，朱元璋率领诸将回应天。
朱元璋所部在接连挫败元兵、张士诚部，特别是在鄱阳湖之役击毙陈友谅、迫使其余部龟缩武昌后，控制了长江中下游流域的大部分地区，已经发展、壮大成为当时实力最为雄厚的反元武装力量。在这种大好的斗争形势下，朱元璋、李善长、徐达等人脑海之中故有的传统封建意识也渐渐复苏，日趋炽烈。
在徐达等人看来，此时朱元璋“功德日隆”，声威日震，已经具备了称王的条件，因此他们“屡表劝进”。朱元璋表示反对，说：“戎马未息，疮痍未苏，天命难必，人心未定，若遽称尊号，诫所未遑。昔武王克商，戢干戈，橐弓矢，归马于华山之阳，放牛于桃林之野，大告武成，然后与民更始，曷尝遽自称尊？今日之议且止，俟天下大定，行之未晚。”不过，明眼人一看就知道这并不是朱元璋的真实想法。中国古代帝王在登大位之前，往往都会故作谦让之态，以博取美名，朱元璋也不例外。身为朱元璋亲信大臣的徐达和李善长等自然深知其中道理，率领群臣“固请”不已，于是朱元璋理所当然地接受了他们的请求。
元至正二十四年（1364年）正月初一，朱元璋即吴王位，正式开始设官分职，组建官僚机构。徐达因在过去的岁月里曾为吴王朱元璋事业的发展立下了汗马功劳，早已成为了朱元璋手下一员不可或缺的心腹大将，加之此时又有上表劝进、极力拥戴之功，所以被任命为中书省左相国。在吴王朱元璋部下文武群臣之中，他的地位仅次于中书省右相国李善长。
正月初三，吴王朱元璋在退朝之后，曾对左相国徐达等人说：“卿等为生民计推戴予，然建国之初，当先正纪纲。元氏昏乱，纪纲不奇，主荒臣专，威福下移，由是法度不行，人心涣散，遂致天下骚乱。今将相大臣辅相于我，当鉴其实，宜协心为治，以成功业，毋苟且因循，取充位而已。”还说：“礼法，国之纪纲。礼法立，则人志定，上下安。建国之初，此为先务。吾昔起兵濠梁，见当时主将皆无礼法，恣情任私，纵为暴乱，不知驭下之道，是以卒至于亡。今吾所任将帅，皆昔时同功一体之人，自其归心于我，即与之定名分，明号令，故诸将皆听命，无敢有异者。尔等为吾辅相，当守此道，无谨于始而忽于终也。”吴王朱元璋在其政权建立伊始时对徐达等人所说的这番讲话，目的无非就是通过总结元朝历史的经验与教训，分析元朝灭亡的原因，阐述朝廷正纪纲、立礼法的重要性等，从而较委婉地向吴政权的功臣——徐达等“将相大臣”，特别是以徐达为首的众武将提出自己的要求、表达自己的愿望：一是要求他们遵守国家（此指以吴王朱元璋为首的吴政权）之“纪纲”、“法度”，特别是儒家一直宣扬、为历代封建统治者所推崇的“礼法”，以免重蹈元朝灭亡的覆辙；二是要求他们“协心为治，以成功业”，告诫他们不可“苟且因循，取充位而已”，更不可“谨于始而忽于终”。总而言之，就是希望徐达等能够善始善终，勿忘遵纪守法，继续为己效力。
陈友谅败亡后，湖北、湖南一带的地方官将纷纷投降吴王朱元璋，但“其间多陈氏部曲，观望自疑，亦有山寨遗孽，凭恃险阻，聚众殃民”，所以左相国徐达奉吴王朱元璋之命“按行其地”，以“抚辑招徕”荆湘一带陈友谅旧部，让他们“各安生业”；如果其中有“恃险为盗者”，就“以兵除之，毋遗民患”。
徐达与参政杨璟等一道率军离开应天后，溯江西上，首先将目标锁定了湖北军事重镇江陵。其时驻守江陵门户之地沙市的是原陈友谅部下平章、知枢密院事姜珏，此人在陈友谅败亡后，虽曾遣人至应天，表示愿意归降吴王朱元璋，但始终犹豫不决。在徐达所部官兵进军江陵、尚未到达沙市之前，他早已将其妻室儿女送离了沙市，做好了最坏的打算。九月二十四日，徐达兵至沙市，姜珏不得已前往徐达军中请降，同时对徐达说：“当死者（姜）珏耳，百姓无辜。”徐达“善其言”，下令“安辑居民，禁兵侵扰”，结果“列郡闻之，望风归附”，徐达兵不血刃地收取了沙市和江陵两座重要城池。二十五日，徐达派稗将傅友德统兵攻取夷陵。不久，原陈友谅部下夷陵守将杨以德率领军民出降，归州守将杨兴也随后前来归附。
当月稍后，徐达率军南下，占领了潭州。当时，在湖南地区既有陈友谅余部，又有以元朝朝廷命官、少数民族土司为代表的几股残余势力大量存在。他们大都雄踞一方，是一种离心力极强的半独立性质的地方割据势力，加之这一地区的民族关系较为复杂，阶级矛盾和民族矛盾交织在一起，情况显得更加错综复杂。倘若问题处理失当，就极易引发新的矛盾与斗争，直接影响当地社会秩序的稳定。为此，徐达审时度势，分别情形，采用了妥善的对策。
位于潭州西南的湘乡州有一著名“土酋”（即少数民族头领），名叫易华，此人自元至正十二年（1352年）起兵反元，十多年来一直活跃在以湘乡为中心的湘中地区，影响颇大。为了尽可能避免与之发生战争，缓和民族矛盾，徐达到达潭州后，立即派人前往招抚。不久，易华率部卒来降。之后，徐达又遣将四出以扩大战果。辰州为故陈友谅左丞周文贵所据，徐达遣指挥张彬将兵讨之。周文贵派部将川张据白云关拒战，被张彬击败。周文贵闻讯后，弃城而逃，张彬等人因此在是年十月初一进据辰州。同一天，奉徐达之命率兵进攻衡州的指挥傅友德也赶走了衡州守将、元左丞邓祖胜，占领了衡州，邓祖胜被迫退保永州。元至正二十五年（1365年）正月初十，徐达遣千户胡海洋攻克宝庆，元守将唐隆道逃遁。宝庆告捷后，靖州军民安抚司及其他长官司之少数民族头领纷纷来降，徐达都“赏赉而遣之”，以示安抚。
元至正二十五年（1365年）二月初一，左相国徐达遣使至应天，说：“臣奉命按行湖湘等处，所至降下湘潭、荆、岳、辰、衡、宝庆等郡，及靖州安抚司诸长官司悉皆平定”，并称：他所到之处，“宣布威德”，如今“远近向化，蛮夷率服”。吴王朱元璋以“湖湘既平”，下令徐达班师回京，同时命令徐达让其部下将领继续“经略各郡”。二月二十五日，徐达从湖湘回到了应天。
徐达在按行湖湘时，虚怀纳言，不妄杀掠，并妥善处理与少数民族土司的关系等，不仅在一定程度上消除了所到之处地方官将和居民的疑虑，大大减少了其所部官兵进军湖湘地区的阻力，而且有利于减轻战争给当地各族人民生命财产造成的损失，有利于该地区社会经济的恢复和发展及社会矛盾的缓和（尤其是民族矛盾的缓和），有利于本地区社会秩序的稳定，为吴王朱元璋在不久的将来出兵全面争夺对江淮地区的控制权、讨灭张士诚等，提供了一个稳固的大后方。如前所述夷陵守将杨以德、归州守将杨兴之不战而降以及湘乡州土酋易华之听命受抚等，便是有力的证明。史载：徐达不战而降姜珏的消息传到应天后，吴王朱元璋非常高兴，并在致书姜珏时说：“王尚书、刘太监至，言尔慷慨磊落，摅诚归附，予甚嘉之。古人云‘识时务者在乎俊杰’，今足下知天命之有归，审人心之所属，以所部全疆来归，其诚可以格天，其义可以感人，其惠可以及百姓：视彼不知天命，不达事机，徒欲驱赤子于锋镝而卒取灭亡者，岂不大相远哉？且荆襄自古战争之地，今不烦干戈而民获生全，足下之功不少矣。尚当益修乃职，慎固封守，辑宁军民，以副予倚注之意。”吴王朱元璋的这封信，虽然是针对姜珏投降之举而言，但是它同时也道出了徐达举措得当、不战而降姜珏的重大影响，即“不烦干戈而民获生全”，“其惠可以及百姓”，换句话说就是使当地已经饱受战乱之苦的广大人民群众及社会经济等得免再遭战火之灾。徐达自湖湘凯旋应天后，受命参与军机要务，深得吴王朱元璋的重用，史载：至正二十五年（1365年），吴王朱元璋“召（徐）达还，计军务”，也是徐达之功得到吴王朱元璋肯定的有力证据。此外，徐达此番按行湖湘，还加深了对湖湘地区地理及人文等方面的了解，为吴王政权日后调兵遣将征进湖湘地区积累了丰富的临阵实战及处理与少数民族土司关系等方面的宝贵经验，吴王朱元璋在至正二十五年（1365年）四月命平章常遇春继续率兵进取襄阳诸郡时，“常与徐达、（常）遇春论襄阳形势”，正是基于这一原因。
吴政权正式建立后，吴王朱元璋为了能够尽快地完善和启动其国家机器，除曾一度亲自率领徐达等西征武昌、命令徐达独领兵马再讨庐州左君弼及按行湖湘外，大约有一年零十个月的时间几乎没有对外采取较大规模的拓展行动。为了充分发挥其国家机器的作用，吴王朱元璋极为重视对有关法令法规的拟定和起草工作，并希望徐达等都能够为之献计献策。至正二十四年（1364年）四月初七，吴王朱元璋对徐达等说：“人之行事固欲尽善，然一时智虑未周，及既行之后，思之有未尽善，亟欲更之，已无及矣。与其追悔于既往，曷若致谨于其初。大抵更涉世故则智明，久历患难则虑周。近日纪纲法度粗若有绪，其间或有未尽善者，诸公宜执正论，亟为更张，庶几上下之间各得其便。苟有不善，岂独予之过？亦汝等之责也。”于是，徐达与右相国李善长“相与孜孜推明之，称画一焉”，为新生的吴政权及未来明王朝之法律制度的制定和完善作出了自己的贡献。