朱元璋大喜，让他把囚犯全都释放。这时刘基最受朱元璋信任，言无不听。中书参政张昶是元故臣，上书颂功德，刘基当众叱之，说你想做赵高第二吧！张昶脸色为之一变，便暗中派人窥伺刘基阴事。齐人翼岩，飞章弹劾刘基专擅，朱元璋怒诘之，查出系由张昶所指使，便把他杀了。
洪武元年（1368年），刘基依据那时“民困必须苏，用兵不能少”的需要，吸取古时军屯法和府兵制之长处，奏请创立军卫法。即在全国各地设立卫所，常驻军队，士卒战时从征，平时屯垦，由朝廷掌握调编任将的权力，目的在于缓解百姓的负担，安定地方，增加兵源，集中兵权。这一制度对朱元璋统一疆域、巩固政权发挥了积极作用。不久，刘基任御史中丞，仍兼太史令。当时政权初创，凡诸大典制都由他和李善长、宋濂等稽定。御史中丞章溢奏请定处州税粮，朱元璋命参照宋制，亩加五合，唯青田不加，曰：“以太史故，令其乡人传为美谈。”
统治阶级的内部矛盾随着政权的日益稳固也逐渐暴露出来。从朱元璋政权的基础看，它有两支基本力量：淮西集团和浙东集团。朱元璋建国称帝后，淮人在政治、军事、经济上占了绝对优势，而浙东集团被排挤、受压抑，他们自然不甘心放弃，千方百计设法获取朱元璋的信任。就这样，两大派系斗争越发尖锐激烈。这种矛盾反被朱元璋所利用，重用淮人又用浙东势力来监视淮人，加强和巩固自己的权力。当时，左丞相李善长功高望重，为众人敬仰，只有刘基与之分庭抗礼，李善长不乐。一次，李善长由于过失受谴，御史凌悦乘机弹劾，刘基反出面为其辩护，说李功勋卓着，且能调和诸将。朱元璋惊讶地说：“他多次企图加害于你，你为何反倒为其开脱呢？看来，你既有大功，又诚实忠心，可以代他为相。”刘基叩头答：“这使不得，好比要换柱子，必须使用大方之木，若以小木代之，将加速倾覆。臣愚笨，当不得此重任。”后李善长罢相，朱元璋欲拜杨宪为相。杨宪和刘基素来交好，刘基却力言不可，说：“杨宪有才，但气度不够。”朱元璋问：“汪广洋如何？”答曰：“此人褊浅，比杨宪有过之而无不及。”然后又问到了胡惟庸，刘基说：“为相犹如驾车，他恐怕会推翻你的车吧！”朱元璋说：“做我宰相的，只有先生最为合适了。”刘基力辞：“臣疾恶太甚，又不耐繁剧，为之恐辜负您的一片好心。天下其实人才济济，要明主仔细去发现了。至于目前诸公，确实没有合适的。”果真，这些话后来都应验了。杨宪因怙宠、汪广洋因巽懦、胡惟庸因大逆，都没落得好下场。
北伐军攻克河南后，朱元璋赴汴梁，刘基和李善长留守应天。刘基谓宋元以宽纵失天下，宜肃纪纲。于是朱元璋诏令诸御史纠劾时不要有任何回避，宿卫宦侍有过者，皆启禀皇太子置之于法。中书省都事李彬由于贪欲服法，李善长因和他有很好的交情，请刘基拖延处理此案。刘基不徇私情，马上上报，报可，方祈雨，即斩之。李善长从此与他断绝了关系。朱元璋回应天后，李善长攻击刘基在盛夏祈雨时，杀人祭坛下。其他怨恨刘基的人也相互诉苦诬告。朱元璋留下折子没有处理。正逢大旱，朱元璋要求大家广为进言。刘基奏：“士卒死后，其妻悉处别营，凡数万人，阴气郁结；工匠死，暴尸野外；吴将吏降者皆编军户，足干和气。”朱元璋按刘基的主张办完这些事，然而十天之后仍未降雨，心中恼火，恰逢刘基丧妻，就批准他告老回家。这时朱元璋方有在凤阳建造中都的意思，又锐意出塞追歼残元主力王保保。刘基在回乡之前进言说：“凤阳四散之地，非天子宜居；王保保未可轻也。”后来果然又如他所说。
这年冬天，朱元璋念及刘基劳苦功高，亲自修书召他回京，赐赉甚厚，进兼弘文馆学士，并追赠其祖、父皆永嘉郡公。洪武三年十一月，朱元璋大封有功之臣，授刘基诚意伯。到了第二年，才又允许他回家。刘基回青田后，仍关心朱元璋起居情况，撰《平蜀颂》。遇到大事，朱元璋也经常向刘基请教，曾亲笔写信询问天象：“即今天象叠见，天鸣已八载，日中黑子或一或二或三，或一日二见，不知灾祸何年何月何日至？”刘基就详细地写了一个奏本，主要内容是：霜雪之后，必有阳春。现在国家刚刚建立，应当叫老百姓休养生息，安居乐业。
刘基性格刚强，疾恶如仇，不能忍受不平之事。因此他与许多权贵不和。
加之洪武初年，他位高不居，功成身退，不愿为相，使性本狐疑的朱元璋对之不满，触犯了“寰中士大夫不为君用，是自外其教者，诛其身而没其教，不为之过”的禁条。他屈己藏身，消极逃遁，反为小人提供了一块禁脔，日后他们凭借自己手中的权势，没费多大气力，就把刘基轰下了台。
早先，刘基上书说，瓯、括间有一块叫谈洋的空地，南抵福建，是盐盗的集散地，方国珍也是在这开始组建队伍的，请设立巡检司加以弹压。豪右奸民因此不满。碰巧茗洋逃军叛乱，地方官吏害怕上司切责，按下不报。刘基叫长子刘琏奏其事，奏章没有先向中书省关白。时胡惟庸方任左丞相，新仇旧恨一块报，遂暗中唆使所善地方官吏上书诬刘基，说谈洋地有王气，刘基想据之为墓地，民不给，就叫立巡检司驱逐民众。朱元璋非常迷信，听后颇为所动，遂夺去刘基俸禄。刘基大惧，慌忙间赴京谢罪，不敢私自回去。不久，胡惟庸取代汪广洋做了右丞相，见朱元璋对刘基日渐疏远，便假装和他交好。洪武八年（1375年）正月朔，胡惟庸曾挟医前来探病，刘基饮其药，觉肚中有个拳头般的块状体，又过了三个月，病情转坏。朱元璋听说后遣使护送他返乡，而且亲自写下意味深长的话：“君子绝交，恶言不出；忠臣去国，不洁其名。”刘基刚到家里，病情即恶化，一月之后便去世了。享年65岁，溢“文成”。
刘基死后不久，胡惟庸案发。朱元璋方想起刘基生前所言，十分后悔。他对刘璩说：你父为我忠心不二，临终前都还惦记我，如今我才知道他是被奸臣暗算了。我要向天下公布他的好处。他又安慰道：“你父亲是有分晓的，如今我做皇上的也是有分晓的，终不会负了他的好名声。”洪武二十三年（1390年），朱元璋颁诰，令刘基子孙世袭诚意伯爵禄。
胡惟庸伏诛
胡惟庸（？～1380年），凤阳定远人，至正十五年（1355年），朱元璋攻下和州后归附义军，授元帅府奏差，寻转宣使。此后，任宁国县主簿，进知县。当时太师李善长操纵政权，胡惟庸以黄金二百两贿赂他，从此青云直上，先迁吉安通判；至正二十四年（1364年），设湖广行省，又被提升为湖广佥事。朱元璋称吴王，在李善长引荐下，胡惟庸被召为太常少卿，当了没多久又升为太常寺卿。
明朝建立后，更是春风得意，几年后便位极人臣。洪武三年，入中书省，拜中书参知政事。洪武六年（1373年）正月，右丞相汪广洋因“无所建白”出迁广东参政，从这时到同年七月，“帝难其人，久不置相”，胡惟庸以中书左丞“独尊省事”数月，七月代替汪广洋升为右丞相。洪武十年九月，又迁左丞相，右丞相仍由汪广洋担任。从洪武六年汪广洋第一次罢相后，中书省的大权实际上由胡惟庸一人独揽。到洪武十三年（1380年）正月为止，他做了长达七年的丞相。
徐达、刘基极为鄙视胡惟庸的人品，徐达“深疾其奸”，曾多次“从容言于帝”。为此，胡惟庸曾十分想和徐达搞好关系，但徐达憎恶他的为人，根本不搭理他。胡惟庸又变换手法，企图贿赂徐家守门人福寿来加害徐达，但被福寿揭发。当徐达获知此事之后，并没有问罪于他，只是向朱元璋进言，说胡惟庸不具备做丞相的资格。
胡惟庸任相时，淮西集团的政敌杨宪在洪武三年就已被杀掉了，胡惟庸独相数年，汪广洋在洪武十年尽管与他同居相位，但汪为人“宽和自守，居相位默默无可否”，在中书省仅仅是“浮沉守位而已”。因此，除了皇帝以外，胡惟庸觉得刘基是对他在政治上唯一构成威胁的人。由于刘基曾与朱元璋论相，胡惟庸更是耿耿于怀，伺机报复，这种艰难处境刘基也深有感触，隐居青田故里的时候，为了避祸，每日“惟饮酒弈棋，口不言功”。即使韬晦如此，还是防不胜防，最终被胡惟庸陷害致死。
刘基死后，胡惟庸也没有放过他的长子刘琏。洪武十年，刘琏做江西参政，朱元璋很赏识他，“常欲大用之”，但后来被胡惟庸的党羽逼得坠井而死。
胡惟庸的起家同李善长关联很大。他出任丞相后，又“以兄女妻其从子佑”，这样两家又有了亲戚关系，往来愈发密切。李善长是淮西集团的领袖，位列勋臣第一，虽然在洪武四年（1371年）致仕，但李家的权势很大。朱元璋又在洪武九年（1376年）把女儿临安公主许给了李善长的儿子李琪，李家遂为皇亲。朱元璋曾打算立杨宪为相，说：“杨宪可居相位。”杨宪也“数言李善长无大材”。为此胡惟庸对李善长说：“杨宪为相，我等淮人不得为大官矣。”在以李善长为首的淮西集团的迫害下，不久杨宪被判处极刑，罪名是“劾汪广洋不公不法。李善长排陷大臣、放肆为奸”。杨宪被治死罪之后，朱元璋“以惟庸为才，宠任之。惟庸亦自励，尝以曲谨当上意，宠遇日盛”。在明初“无一日无过之人”的年代，竟能“独相数岁”，胡惟庸做到这一步实属不易，说明他十分受朱元璋赏识，但这种赏识，并非是才干上的赏识，而是朱元璋推行高度集权的君主专制统治所需要的赏识。本来，从人品、学识、才干上来说，丞相这一职，最合适的人选当属刘基。朱元璋也曾对刘基说：“吾之相，诚无逾先生。”但这也仅仅是说说而已，从明太祖欲将皇权强化到更高的程度来看，显然刘基又不是十分适合的。
朱元璋决定罢中书省、废丞相，是在相权和君权的矛盾日益加剧下形成的。
胡惟庸赢得了朱元璋的宠信，骄恣渐露，在朝中有恃无恐，尤其是在刘基死后，“益无所忌”。自己占据丞相之位多年，掌握生杀大权。他不按正常上奏的途径行事，内宦外宦及各司上奏的文件，都先拿来自己翻阅，对自己有害的，就藏起来不予上报。四面八方急于升官的或是以前丢官的文臣武将，争相向其献媚，并以重金贿赂于他，这样一来，丞相的权势炙手可热，恩威震主，对君权威胁极大。朱元璋为此十分不安，他必须考虑政治体制的变革问题而避免大权被人夺取，于是头脑中便开始酝酿“弃中书省，废丞相”的念头。但丞相制度延续了一千多年，废除它不仅需要相当的时间而且要等待时机成熟。于是继争夺相权的激烈倾轧之后，接下来的就是更加残酷的君权与相权的斗争。
首先进行改革的是地方行政体制。洪武九年（1376年）六月，“改行中书省为承宣布政使司……悉罢行省平章政事左右丞等官，设布政使一员”，又增改了按察使司、都指挥使司，各司对六部和皇帝负责。这样中书省便失去了实权，丞相的权力也因此而被削弱。接着在洪武十一年（1378年）三月，“命奏事毋关白中书省，上于是始疑胡惟庸”。这是两项非同一般的政治手段，丞相的实际行政权力几乎都被剥夺了，这对胡惟庸来说是危险的信号。对这种日益逼近的威胁，胡惟庸不可能无动于衷，他是非常熟悉朱元璋嗜杀成性的残忍本性的。要么坐以待毙，要么铤而走险，以胡惟庸的阴险狡诈和他在政治上经营多年的政治基础，他自然选择后者。因为不断激化的相权与君权之间的矛盾斗争，对抗是双向的，不可能有一方处于完全被动无所作为的状态，否则双方矛盾便不会发展到无法调和的地步，这是事物发展变化的一般规律。据说，当时胡惟庸定远旧宅的井中忽生石笋，高出水面数尺，又有传言说胡家三代祖坟上，夜里有火光照耀如白昼，这被阿谀奉承的一些小人说成是好兆头。胡惟庸知道后更加坚信是上天在帮他，谋反之心更坚决了。他的家人因殴打官吏，被人上奏，朱元璋大怒，把他的家人杀了，并“切责丞相”，胡惟庸却不谢罪。朱元璋又因中书省办事慢，多次“诘问所由”，同时开始重新追究刘基的死因。胡惟庸对这些感到极为恐惧，于是对其同党说：皇上草菅功勋旧臣，与其坐以待毙，不如先发制人，千万别束手就擒。他暗中结交吉安侯陆仲亨、平凉侯费聚，利用手中的权势和金钱来威胁引诱。陆仲亨因在陕西擅自动用驿站的车马而被怒责，被安排在代县做捕盗。费聚奉命安抚苏州军民，因贪恋酒色，被责往西北招降蒙古残部，无功而返，也被朱元璋切责。现在他们与胡惟庸往来频繁，常在胡家饮酒。胡惟庸对他们说：“我们做的尽是些违法乱纪之事，一旦东窗事发，该怎么办？”胡惟庸把自己谋反的计划告诉了他们，并让他们在外召集兵马，作为外应。又与御史陈宁在中书省“阅天下军马籍”，下令都督毛骧找来卫士刘遇贤和亡命之徒魏文进做心腹。另外，派明州卫指挥使林贤下海勾结日本人，遣元故臣封续致书元嗣君脱忽思帖木儿，以向其臣服作为交换条件请求为其提供兵力援助。
就在君相之间杀机隐现的时候，又接二连三发生了几件事，将双方的矛盾激化。
《明史》记胡惟庸的儿子，“驰马于市，坠死车下，惟庸杀挽车者，帝怒，命偿其死，惟庸请以金帛给其家，不许”。《明史纪事本末》说：“乘马奔入挽辂中，马死，惟庸杀挽辂者。”而《国榷》则说是“误践人死”。这三种说法不一，我们不必去证实他到底是自己坠死车下，或是马死，或是误践致死，但胡家草菅人命这一点是肯定的。朱元璋对胡惟庸十分严厉，“命偿其死”，胡惟庸请求用金帛作为赔偿，又遭到制止，这更加剧了胡惟庸的恐惧感。于是胡便和御史大夫陈宁、中丞涂节密谋造反，暗地里通知各方追随他的武臣及同党。这时日本贡使私见胡惟庸，双方商定，日本以舟载精兵千人，伪装进贡，到时候与府中力士一齐抓住朱元璋。如果失败，就乘机掠夺一番泛海回日本。
洪武十二年（1379年）九月，占城来贡，胡惟庸没有将其报告皇帝，有太监看到后奏明朱元璋。朱元璋大怒，虽然胡惟庸和汪广洋给皇上磕头谢罪，但把责任又推给礼部，礼部又推给中书省，朱元璋更加生气了，把与此事有关的大臣一律囚禁下狱。
十二月，中丞涂节说是胡惟庸毒死了刘基，朱元璋认为汪广洋应该知道这件事，当问他时，汪却矢口否认，朱元璋非常生气，认为他结党朋欺，把他贬到了海南。后又追究他当年不把杨宪的罪行揭露出来，当舟停太平时，传命赐死。很明显，下一步就该轮到胡惟庸了。
汪广洋被杀，他的妾陈氏自愿从死，朱元璋知道后更为震怒，说坐罪没籍官员的妻女，只配给功臣家当奴隶，又怎么做了文臣的妻妾。于是命令法司进行一番勘查，结果胡惟庸及六部官员都受到牵连。
洪武十三年（1380年）正月，御史中丞涂节由于怕东窗事发，向朱元璋奏发了他们的谋逆之事，谪为中书省吏的御史中丞商暠“亦以惟庸阴事告”。朱元璋废除丞相的时机已经成熟，他亲自审问，结果以谋逆罪诛左丞相胡惟庸、御史大夫陈宁，“夷三族，尽诛其僚党”，又由于涂节告发太迟，“亦弃市”。