朱元璋此次占据太平路，另一个重大收获就是征聘接纳了李习、陶安、汪广洋、宋思颜、潘庭坚、王恺等一批知名儒生。其中，陶安是朱元璋幕下所收纳的第一位举人，此人特别会讲话，见面伊始就奉承朱元璋，称其“龙姿凤质，非常人也！”朱元璋向陶安问计，他的意见与冯国用刚归附时提出的建议差不多，也是让朱元璋先取金陵，然后“据其形胜，出兵以临四方”。通过如此面试，朱元璋对陶安印象不错，“由是礼遇甚厚”。
此次渡江南征，朱元璋的战略目标乃是集庆（又名金陵，今江苏南京）。因此，在打下太平之后，朱元璋立即进行地方行政和军事机构改革，使其成为攻打集庆的战略后方。他下令在太平设太平兴国翼元帅府（隶属于和州都元帅府），朱元璋自任元帅，李善长为帅府都事，陶安、汪广洋为帅府令史，潘庭坚为帅府教授；改太平路为太平府，以李习为知府。同时，下令开仓放粮，赈救贫民。
眼看朱元璋渡江成功并越闹越成气候，元朝江南行台御史中丞蛮子海牙、江南行台枢密副使绊住马、江南行台右丞何鲁灰等人感到恐慌，便在长江的采石、姑孰口（今安徽当涂西南）等江域，以巨型船只将江面封锁起来，用以阻断这支起义军的归路。与此同时，又令“义兵”元帅陈埜先、淮西宣慰使兼都元帅康茂才等人，率领数万军队前来与朱元璋争夺太平。
形势严峻，朱元璋命令将士全力以赴，死守城池。此间，朱元璋新纳的二房夫人孙氏劝说夫君将府库中的金银全部都搬到城上，用以现场分赏有功将士。她说：“倘有不虞，积金何益？”朱元璋当场采纳了这个建议。将士们本来就钦佩朱元璋的才略，如此一来，士气更加旺盛。
两军相峙期间，朱元璋忽然想出破敌之策：他令徐达和邓愈二人率领一支人马绕至敌后，自己则与汤和将领率兵出南门正面迎敌。两面夹攻，敌军大败，陈埜先被俘，康茂才带着部分残兵先是退到天宁洲，然后再退入集庆城内。蛮子海牙、阿鲁灰等人见势不妙，也连忙退驻于峪溪口。
陈埜先被俘之后，原以为必死无疑，没想到朱元璋却将他释放，并劝其趁天下大乱之际，共举大业。陈埜先应诺，然后亲笔写信招降部众，并与朱元璋歃血盟誓，结为兄弟，两人相约共取集庆。
经过准备，至正十五年（1355年）七月初，朱元璋兵分两路：北路军由这支部队名义上的一、二把手郭天叙和张天祐率领，直取集庆；南路军由徐达率领，其战略目标是攻占溧水、溧阳、句容、芜湖等州县，从南面包抄集庆，切断元军的外援。
徐达率领的南路军沿途攻城夺池，进展颇为顺利。北路军却遇到了麻烦，问题主要出在陈埜先身上。原来，此人系大地主出身，深恨红巾军，太平兵败被俘，并非真心归顺。此次攻打集庆，朱元璋令陈埜先留在太平城中，让其归降的部队跟随郭天叙、张天祐攻打集庆，这使陈埜先更加心怀芥蒂，他暗中嘱咐部下只做样子，不可力战。北路军兵临集庆城下，元朝江南行台御史大夫福寿率军迎战，红巾军中一半人打，一半人看热闹，因此大败而归，退回太平。
朱元璋整顿人马，准备于八月再次攻打集庆。陈埜先又私下传话给部下：“汝等攻集庆毋力战。俟我得脱，还当与元合。”有检校（即特务）得到消息，向朱元璋报告了陈埜先的阴谋。朱元璋道：“吾久知其不诚。然杀之，恐失豪杰心。”反复权衡，朱元璋决定放走陈埜先，临别时对他说：“人各有心，识见不同。从元，从我，任汝所适，不相强也。”陈埜先则指天发誓道：“若背再生之恩，神人共殛之！”
陈埜先离开太平之后，率领余部驻扎于板桥（今南京江宁东北），一面联络元将福寿密谋攻打朱元璋，一面又对朱元璋使缓兵之计。这厮派人送信给朱元璋，称自己“与元兵遇，杀获不可胜计，生擒五人，获马数十匹。”同时建议说集庆形势险要，一时难下，不如南据溧阳，东进镇江，据其险要，绝其粮道，以作长久之计。
朱元璋何等聪明，一眼识破其计，回信说集庆所凭无非是长江天堑，如今，我大军已渡过长江，集庆咽喉已被我所扼，此乃克敌奏捷之机，此时足下“正直乘时进取，建勋定业，奈何舍全胜之策而为此迂回之计耶？”反倒将了对方一军！陈埜先一计未成，再生一计，他与元将左答纳识里密谋，诈称已生擒该元将，诳骗朱元璋前往板桥军营受俘。朱元璋接信后骂道：“此贼多诈，最叵信，姑许之。”然后不予理会，陈埜先的阴谋再次破产。
话说徐达率领的南路军势如破竹，相继将溧水、溧阳、句容、芜湖等州县收入囊中，从东、南、西三面对集庆形成合围之势。在这种局势下，朱元璋遂于至正十五年（1355年）九月对集庆发动第二次正面进攻。
此次仍是郭天叙和张天祐领兵，初始十分顺利，大军一举攻破方山元将左答纳识里的营垒，然后兵临集庆城下，攻打东门。与此同时，陈埜先也领兵来到集庆城下，为骗取郭天叙和张天祐的信任，他佯装攻打南门，然后宴请郭、张二人。席间，陈埜先突然发作，斩杀了郭天叙，将张天祐生擒，然后献给集庆城内的元朝江南行台御史大夫福寿邀功，福寿随即将张天祐杀掉。两位主帅身亡，福寿与陈埜先里应外合，红巾军死伤万余人，败退溧阳，二打集庆就此失利。
正当陈埜先做着升官晋爵的美梦时，这个无信之徒也迎来了自己的末日。当他率军追击红巾军来到金坛（今江苏金坛）的葛仙乡时，已人困马乏，与十余骑落在队伍后面。当地的“义兵”百户卢德茂早先曾听说陈埜先投降了红巾军，不明究里，决定设计将其斩杀。他派五十名青衣兵出迎，陈埜先觉得是自家人，便毫无戒备地与十余骑走在前面，青衣兵突然自其身后攒槊乱刺，将其当场杀死。陈埜先死后，其侄儿陈兆先收拾部队，屯驻方山，与蛮子海牙互成犄角，抵抗朱元璋。
关于郭、张二人之死，历来多有“朱元璋借刀杀人”一说，包括近代的吴晗等人，皆有此谓。其实，读者认真分析，就会发现这种“阴谋论”殊不符合情理。一方面，从当时和州的红巾军刚刚渡江自身立足未稳的形势来看，以朱元璋的志向和睿智，他是绝对不会冒着损兵折将乃至满盘皆输的风险去自折臂膀的；另一方面，从朱元璋的胸怀来看，他由于“恐失豪杰心”，连陈埜先这种反复无信的阴险小人尚能容忍，难道就容不得同一个战壕里的战友？读者或许还记得朱元璋曾经对郭子兴所说过的“家事缓急皆可理，外事当速谋”这句话，从中可知朱元璋的见识。何况郭、张二人乃朱元璋的恩公郭子兴的家人和至亲，同朱元璋之间并无任何龃龉或过节，在大敌当前、前程未卜的形势下，他决不会以损失万余人为代价，甘冒天下之大不韪，去谋害二位将领的性命！尽管郭、张二人遇难之后，郭子兴的旧部尽归朱元璋统率，他从此成为这支红巾军队伍名至实归的总指挥，但是，我们却不能因为这个结果便去无端揣测它的起因。
且说蛮子海牙等元将，见朱元璋失利，便厉兵秣马，准备一举荡平太平。此前，蛮子海牙的水师已占据采石、姑孰口等长江水域，因为渡江红巾军将士的家属皆留在和州，如今交通被元军阻绝，而集庆一时间又难以攻下，于是，将士们开始担忧后方，人心浮动。为了稳定军心，朱元璋于至正十六年（1356年）二月令常遇春率军攻打蛮子海牙，大破元军，俘敌万人，得舟船无数，重新打通了太平与和州之间的通道，蛮子海牙领着残兵败退到集庆方向。
后方根据地巩固下来之后，朱元璋再度备战。至正十六年（1356年）三月初一，朱元璋麾下的红巾军水陆并进，三打集庆。兵至江宁镇，首战告捷，大破陈兆先部。陈兆先被俘归降，其部众三万六千余人也悉数投降。由于这支部队当初在跟随陈埜先时曾有过降而复叛的反复，此番归降，将士皆惶惶不安，害怕遭到朱元璋的报复。为笼络这支庞大的队伍，朱元璋撤走了自己的亲兵卫队，从归降部众中挑选了五百名骁勇壮士，当天晚上就让他们担任自己的亲兵警卫，并且解甲酣睡，只留冯国用、冯国胜兄弟侍于帐中，以示对这些降兵信任。此番表演效果出奇之好，第二天，这五百壮士奔走相告，降兵将士见朱元璋有如此气度，皆心悦诚服地为其效命。
三月初十，朱元璋挥师对集庆发起总攻，冯国用以五百将士于蒋山（即紫金山，又名钟山）大败元军，随后，大军攻入城中。江南行台御史大夫福寿犹自督兵巷战，被击溃之后，他“独据胡床，坐凤凰台下，指麾左右，更欲拒战”。左右有人劝他赶紧趁乱出逃，他厉声喝止道：“吾为国家重臣，国存则生，国破则死，尚安往哉！”工夫不大，红巾军一涌而上，福寿被砍成肉泥，以身死国。
此次战役，另外还有阿鲁灰等元将战死，蛮子海牙逃奔张士诚，江南行台御史王稷、元帅李宁、元帅林某、都元帅康茂才等数百将官被俘。此外，海军元帅叶撒、苗军元帅寻朝佐等人，率军民五十余万众投降。几经挫折的集庆之役，终于以朱元璋的完胜落下帷幕。
朱元璋入城之后，针对纷乱的天下大势，将城中的旧官吏和民众召集起来，宣布自己的政策，大意是说：元朝苛政扰民，以致天下大乱，生民涂炭。如今我来到这里，目的是为了清除乱政。希望大家各自按部就班，不要担忧害怕；有才能的贤士君子，愿意跟随我建功立业的，我会以礼相待；在官府做官为吏的，大体上各就各位，但不许再横扰百姓！这番讲话的实质精神，颇类似于当年刘邦进驻咸阳后抛出的“约法三章”，一下子打消了官民心中的疑惧，集庆的社会秩序很快安定下来。
接着，朱元璋开始按照自己的意愿改造这座城池：首先，他按照一贯的做法，招贤纳士，礼待儒生，杨宪、夏煜、孙炎等十余人得到录用；接着，他取“顺应天命”之意，下令将集庆路改名为“应天府”；再配套设立天兴建康翼统军大元帅府，任命廖永安为统军元帅，任命赵忠为兴国翼元帅，令二人代替自己镇守太平。与此同时，朱元璋派人向亳州的宋政权报捷。
由于应天是刚刚从元军手中夺取过来的，城市周边各派势力犬牙交错：东北面有青衣军元帅张明鉴占据扬州；东面有元朝将领定定镇守镇江；东南面有张士诚占据平江（今江苏苏州）和常州；南面有元将别不华、八思尔不花等人分别镇守宁国（今安徽宣城）、徽州（今安徽歙县）；西面有徐寿辉的部将占据池州（今安徽贵池）……除了北面的宋政权以外，其他三面皆非友军。这些势力，无论是元军，还是起义军，他们皆垂涎应天（金陵，今江苏南京）这块风水宝地。作为金陵的新主人，年轻的朱元璋十分清楚自己眼下的处境：为了争取主动，必须以攻为守，继续向周边地区拓展军事势力，才能有效巩固现有根据地。
经过审时度势，朱元璋和他的幕僚们制定了向东、南两个方向的元军发动进攻的战略目标，并派遣徐达、常遇春、汤和、廖永安、邓愈、邵成、华高、华云龙、汤昌等人率军攻略。这些起义军将领虽然年轻，但却作战勇猛，他们战无不胜，攻无不克，在短短的五个多月时间内，先后攻下镇江、金坛、丹阳、广德（今安徽广德）等地。元将定定、段武等人战死，苗军元帅杨完者兵败之后率残部逃走。
坐镇应天的朱元璋接到纷至沓来的捷报，十分高兴，先后下令改镇江路为镇江府，授予徐达淮兴翼元帅之职，令其镇守镇江；改广德路为广德府，任命邓愈为广兴翼元帅，汤昌为行军总管，镇守广德。至此，应天的北、东、南三面暂时有了屏障。
至正十六年（1356年）七月，宋政权的皇帝小明王韩林儿派使者到达应天，宣布任命朱元璋为枢密院同佥，任命李善长为枢密院经历。事隔不久，韩林儿再次下诏，设立江南等处行中书省，任命朱元璋为江南等处行中书省丞相，任命郭子兴的老部下邵荣为江南等处行中书省平章政事，任命郭子兴的小儿子郭天爵为右丞，李善长（李善长原名士元，此间方改名为善长）为左右司郎中，其他主要将领皆升为元帅。
朱元璋接诏之后，立即在应天开府治事，着手建设和完善江南等处行中书省的政府机构：任命李善长、宋思颜为参议；任命李梦庚、郭景祥、侯元善等人为左右司郎中；任命陶安、孔克仁、王恺等人任员外郎；任命徐达、汤和为江南行省枢密院同佥；任命冯国用为帐前总制亲兵都指挥使司指挥使；任命华云龙、陆仲亨、唐胜宗、邓愈、张彪、王玉、陈兆先、陈本等人为前、后、左、右、中五翼元帅府元帅；任命陈德、陶文兴等人为五部都先锋；任命孙养浩为行省都镇抚司镇抚；任命刘桢、秦裕为行省理问所理问；任命王德芳、王习古为行省提刑按察司佥事；任命达必大为行省兵马指挥司指挥……朱元璋自己则以江南行省丞相身份，总揽军政大权。
这是一个相对完整的地方政权体系，因为处在战时，其机构设置大多与军事相关。尽管这个江南行省名义上隶属于宋政权，但由于应天所处的地理位置得天独厚，故尔它在实际上可以视为朱元璋的私有政权。江南行省的建立，对打击腐朽的元朝、成就朱元璋的辉煌人生，具有特殊的意义！也就是从这个时候开始，年轻的朱元璋被其幕僚诸将心悦诚服地尊奉为“吴国公”，这一年他二十九岁。
公侯爵位，自古以来一般乃是由上对下的一种荣誉赏赐，而朱元璋这个“吴国公”称谓却由下及上，来自属下的尊奉。观察朱元璋的态度，这个尊号令他感到十分受用。之所以如此，倒不完全是虚荣心作祟，而是出于政治上的需要。因为当时，朱元璋在乱世的群雄之中才刚刚崭露头角，实力尚不强大，必须背倚大树乘凉，挂靠在宋政权小明王的名下，以遮掩自己的锋芒。然而，从另外一个角度来讲，朱元璋今天的一切皆是凭靠他自己的能力白手打拚而来，并没有依靠谁的恩赐，“吴国公”这一尊号，个中即明显包含有自立门户之意，可以清晰地向世人传递出这一态度。可是，从表面来看，这一名号只是来自于属下的尊奉，而不是他朱元璋的自封，故还不致于激怒宋政权的小明王、刘福通等人，因而，这个恰到好处的擦边球让他颇为满意。后来，局势的发展越来越好，已经没有什么外在力量可以掣肘自己时，朱元璋便在“吴国公”的基础上直接自我升级为“吴王”，一切都显得顺理成章。