在张士诚起义的过程中，不断有大批元朝旧臣和地主投降义军，并得到张士诚的重用。建立政权后，张士诚虽然广揽人才，却不能知人善任。另外，张士诚对待投奔他的文人“不问贤不肖，辄重赠遗，舆马居室，无不充足，士之嗜利者，多往趋之”。张士诚用人无方造成盐民义军中鱼龙混杂，既有对元朝刻骨仇恨的穷苦百姓，也有投机农民革命的地主知识分子。当看到张士诚战事不利，元朝降臣就纷纷鼓动张士诚投降元朝，张士诚没了主意。
至正十七年（1357年）7月，被朱元璋俘虏的张士德派人偷偷送来书信，劝说大哥张士诚：“可降元朝，以为之助。”一个月后，张士诚正式向元朝廷请降，并把隆平府改名平江。已经疲惫不堪的元朝廷大喜，册封张士诚为太尉，义军将领也都得到了相应的封赏。
张士诚投降后，立刻成为元朝廷镇压江南农民起义军的急先锋。他与元朝军队兵合一处，大举进攻朱元璋控制的地区。从至正十八年（1358年）到至正二十三年（1363年）秋，双方在江浙地区进行了大小数十次战斗，始终没有分出胜负。同时，张士诚又趁刘福通和韩林儿的宋政权三路北伐之机，攻占了苏北和鲁南的大片土地，把自己的势力范围向北扩张到了济宁。投降元朝后，张士诚集团已经从农民军彻底转变成江南地主豪绅的代言人，不仅到处镇压农民军起义，而且大肆追求物质享乐。
为了满足私欲，张士诚在其统治地区加大了对农民的盘剥，比元朝政府有过之而无不及。据元末诗人谢应芳记载，张士诚统治下的昆山地区，“比于前元多增粮额，民以穷困，输官不敷……今催粮里长人等，破家荡产，累遭杖责，监系囹圄，受罪数月，逃亡缢死，不知其数”。由于张士诚政权的腐化变质，刚刚摆脱元朝统治的江浙人民，又陷入到水深火热之中。
至正二十三年（1363年）陈友谅战死，他的地盘和残军很快都被朱元璋收归肃清。而这个时候北方的元军正在进行内斗，打得不可开交，富有的张士诚不久自立为吴王。面对这种情形，朱元璋觉得“缓称王”的策略需要应对新的形势有所改变，“吴国公”已经不能和眼下的政治形势相对应了。
刘伯温和李善长都认为，应天在历史上是孙权的都城，孙权所拥有的正是吴国，虽然张士诚自称为吴王，但是吴王这个称号内涵丰富，要想统一天下建立国家，此时称吴王最合适不过。于是，朱元璋在至正二十四年（1364年）的1月也称了吴王，设置百官，建立中书省，一个农民的儿子终于转变为王侯。此时的尴尬就是两个吴王同时出现，为了区分，在人们的心目中，张士诚就成了东吴，朱元璋则为西吴。
一山难容二虎，两个吴王接壤相连，争斗是必然之势。而挑起争端的又必然是有野心的那个。已称王的朱元璋心里很清楚，要巩固自己的霸业，不可仿效他人的享乐，他已经拥有应天这个虎踞龙盘之地，就必须守住这个据点，壮大这个据点。此时的朱元璋，虽然除掉了一个厉害人物陈友谅，初步控制了长江中游的地区，但是他的野心是得天下，立大业，他怎能容得下附近的另一个吴王——张士诚呢？
不过，朱元璋并没有直接去平江攻打张士诚，他先发布了《平周檄》，历数张士诚八条罪状“为民则私贩盐货，行劫于江湖；兵兴则首聚凶徒，负固于海岛，其罪一也。又恐海隅一区难抗天下全势，诈降于元，坑其参政赵琏，囚其待制，二也。厥后掩袭浙西，兵不满万数，地不足千里，僭号改元，三也。初寇我边，一战生擒亲弟；再犯浙省，杨苗直捣其近郊；首尾畏缩，又诈降于元，四也。阳受元朝之名，阴行假王之令，挟制达丞相，谋害杨左丞，五也。占据江浙钱，十年不贡，六也。知元纲已坠，公然害其丞相达失贴木儿、南台大夫普化贴木儿，七也。恃其地险食足，诱我叛将，掠我边民，八也……”
然后命徐达、常遇春率一部分舟师水陆并进，渡过长江，进攻淮东。徐达和常遇春先行击溃张士诚军一部分，进抵海安，不久克海安后进围泰州新城，败张士诚援军，擒其元帅王成。此时，张士诚为分散朱元璋的兵力，以四百艘舟师泊在长江北岸一个叫范蔡港的地方，同时部署诸多水兵在江苏靖江北部水域，以诱惑徐达前来，再乘机反攻。朱元璋指挥若定，不为所惑，仍旧把主力放在海安、泰州地区，使张士诚计谋失败，无机可乘。数月后，朱元璋派部将又攻下张士诚的发家之地高邮。
至正二十六年（1366年），徐达与常遇春会师淮安，克兴化。5月，又攻下朱元璋的老家濠州。为显示自己与往日之不同，朱元璋亲至濠州，省陵墓，宴父老，真是与当年不可同日而语。更大的胜利就在眼前。朱元璋采取集中兵力，先除去张士诚羽翼的战略，把其势力分为两段，南北阻隔，无法呼应，为日后的进攻打下了坚实的基础。
这年8月，朱元璋任命徐达为大将军，常遇春为副将军，率军二十万讨伐张士诚。
朱元璋已料到张士诚必对苏州重兵把守，需要调其兵将离山。他毫不迟疑地命令正准备直击苏州的二将不要急于取苏州，先直击湖州，使张士诚的军队不得不从苏州分散至湖州，待其军士劳累奔波疲惫之时，移重兵直至苏州，己方则必胜无疑。
徐达、常遇春二人也不得不佩服朱元璋的计谋和战略。
此时，李善长不由得对刘伯温言道：“其人有君主之威，将来之事可见端倪。”
刘伯温笑而不语，他知道朱元璋有更大的企图。
这一仗打了数月，苏州成为孤城，南、西、北三面被朱元璋的军队围困。
直到吴元年（1367年），围城三月依然未能攻下，军士已有焦躁不安之心。常遇春向来是杀戮成瘾，建议道：“当立刻攻城，杀进城内，不必死守。”徐达不置可否，他一向最听朱元璋的，如今将身在外，不敢轻举妄动。
朱元璋对此泰然处之。他在派兵围攻苏州的同时，还做了另外一件重要的事情——派他的大将廖永忠去“迎”小明王韩林儿，并在途中命廖永忠结果其性命。朱元璋心里是何等明了，战时“迎”小明王，他必无疑心，趁此机把他做个了结，免得日后再生枝节。再说这边，朱元璋见张士诚缩在城内动弹不得，心中早有胜数，只是不愿攻城伤及城中百姓，将来难以平抚，即给徐达、常遇春只围不攻的命令。
同时，朱元璋不断让文臣们写劝降书送进城内，劝张士诚早日投降，然张士诚来了个拒不回信，亦不投降，死守城池。对此，朱元璋有的是耐心：就等你耗到粮绝之日。
至7月，张士诚城中已无粮草，他只得亲自率军突围。张士诚的兵士打开城门准备出战，即迎来常遇春这位勇猛之将。常遇春挥兵向前，他早已等得不耐烦，把张士诚的精兵杀得落花流水。张士诚惊吓不已，从马上坠落，被士兵救起匆匆逃回城中。
忍无可忍的张士诚恨透了朱元璋，休息十日后，咬紧牙关，亲自率兵再次出击。这次可不得了，张士诚和他的军队已无路可走，做好了视死如归、决一死战的准备，表现得勇猛惊人，甚至骁勇的常遇春都险些招架不住。眼看张士诚有胜利的希望，城头不知谁喊了一声：“军士如此辛苦，可以休息再战！”瞬即鸣金收兵。张士诚及其士兵正惊讶不知如何之时，常遇春已经掉头再击，大败张士诚。
原来，朱元璋早在城内安插了自己人。他知道张士诚的性格不易劝降，恐其来个誓死抵抗，这样必伤及自己的士兵，他先下手为强，差刘伯温找了机灵的士兵见机行事，以干扰张士诚的军心。
不久，徐达展开猛烈的攻势，终于攻入平江城内。辉煌一时的张士诚此时已是英雄穷途末路，这时正是日暮时分，他和他的夫人刘氏，怀抱两个幼子，准备以死了结。他无法忘记连日来的悲惨，更无法原谅自己当初没有和陈友谅一起抵抗这个看着并不起眼的朱元璋。他只是想当自己的小帝王，和家人过安稳的日子，守着身边的百姓安居乐业，他厌倦了战争。然而，他没意识到朱元璋的雄心，对朱元璋最初的“劝降”并未放在心上。落日的余晖映着他和他的家人，以及惨败不堪的城楼，他的心里涌起百般滋味。他放火烧死了自己的妻儿，闭门准备上吊自杀，被他的部将解救。徐达将其擒获，押送到应天。
朱元璋看到披头散发的张士诚，心中感慨，这也是昔日的英雄啊。同时，张士诚的凄惨样，更激起了朱元璋平定天下为我所有的决心。他明白，人不可无志，只有足够的强韧，彻底消灭了敌人，他朱元璋才能真正地安稳下来。当夜，张士诚趁看管的人不备时，上吊自杀。
城破之日，徐达严格约束部下，并立下军令：“掠民财者死，毁民居者死，离营二十里者死！”朱元璋的军队纪律严明，秋毫无犯，赢得了当地人们的信任。