几天之后，刘基自知来日无多，找来两个儿子交代后事。交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问。”又对次子刘璟说：“为政的要领在宽柔与刚猛循环相济。如今朝廷最必须做的，是在位者尽量修养道德，法律则应该尽量简要。平日在位者若能以身做则，以道德感化群众，效果一定比刑罚要好，影响也比较深远，一旦部属或百姓犯错，也较能以仁厚的胸怀为对方设身处地的着想，所裁定的刑罚也必定能够达到公平服人，和警惕人改过自新的目的；而法律若能尽量简要，让人民容易懂也容易遵守，便可以避免人民动辄得咎无所适从，又可以建立政府的公信力和仁德的优良形象，如此一来，上天便会更加佑我朝永命万年。”又继续说道：“本来我想写一篇详细的遗表，向皇上贡献我最后的心意与所学，但胡惟庸还在，写了也是枉然。不过，等胡惟庸败了，皇上必定会想起我，会向你们询问我临终的遗言，那时你们再将我这番话向皇上密奏吧！”最后于农历四月十六卒于故里，享年六十五岁。六月，葬于乡中夏中之原。
1513年（明武宗正德八年），朝廷赠他为太师，谥号文成。1531年（明世宗嘉靖十年），因刑部郎中李瑜的建言，朝廷再度讨论刘基的功绩，并决议刘伯温应该和徐达等开国功臣一样，配享太庙。
刘基辅佐朱元璋平定天下，料事如神，被人称为“渡江策士无双，开国勋臣第一”，但朱元璋大封功臣时，刘基却不求名利，不以功臣自居，一再谦让，所以官爵比其他功臣要低。到洪武三年（1370年），刘基受“开国翊运守正文臣”称号，封为诚意伯，俸禄二百四十石。由于他嫉恶如仇，刚正不阿，敢于直言，与世事多违逆，得罪了丞相李善长、胡惟庸等为首的淮西派，并因多次直谏，逐渐失去朱元璋的欢心。因此在洪武四年（1371年），六十一岁的刘基请求告老还乡时，建立了大明王朝、坐稳了皇帝宝座的朱元璋，仅作了御诗道：“先生此去归何处？朝入青山暮泛湖。”并不作任何挽留，刘基便从此归隐于山中。
刘基平日饮酒下棋，吟诗作画，避谈政事，从不向人夸耀自己的功劳。青田县的县令曾经请求谒见刘基，刘基没有答应。这位县令于是乔装打扮为村野之人，前去看望刘基。到了刘家，刘基正在洗脚，让侄子把客人带进茅屋，准备做饭招待县令。县令这时才告诉他说：“我是青田知县。”刘基一听，惊讶地站起身，口中连称草民冒昧，然后告辞躲了出去，不肯再见面。
刘基隐藏踪迹到这种地步，却仍然逃脱不了恶运，终究被胡惟庸所害。
胡惟庸靠着李善长而得以官运享通。杨宪被杀后，朱元璋认为胡惟庸有才能，非常宠信他。胡惟庸也勉励自己，经常小心谨慎地承受皇帝的旨意，受到朱元璋的宠信一天天亲厚。他单独担任丞相几年，生杀予夺，有的根本不上奏皇帝就任意执行。朝廷内外各个官署呈上的密封奏章，胡惟庸必定先拆开来看，内容对自己不利的，就藏匿起来不上报。各地急于进取的人和失去官职的功臣武人，都争着奔走于他的门庭下，馈赠的金银、名马、珍奇玩物，数不胜数。大将军徐达十分忿恨他的奸邪，就向朱元璋报告了他的这些非法行为。胡惟庸得知后，引诱徐达家的看门人福寿，让他诬告徐达，福寿向徐达揭发了这件事，徐达没有进行追究。刘基任御史中丞时，也曾对皇帝陈说过他的短处，因此胡惟庸一直恨他，总想找机会图谋刘基。
说刘基在家中隐居，闲暇时到数十里之外的谈洋去游玩。谈洋是瓯、括之间的空地，向南一直至福建界内，是私自贩盐之人的聚集之地，方国珍就是从那里开始作乱的。刘基觉得这地方的奸民不服从管理，又互相勾结作乱，或者胁迫戍边士兵一道出逃反叛，形势有迅速恶化的苗头，于是一回到家中，就写了一封奏书，请求设立巡检司控制管辖该地，使那里的刁民无机可乘。
刘基命长子刘琏到京城上奏这件事，刘琏奉了父命，不敢怠慢，连夜赶路，到京城正值皇帝早朝，刘琏便直接将奏书上呈给了朱元璋，事先没有告知中书省。朱元璋向时任中书省左丞的胡惟庸问起这事，该当如何处置，胡惟庸压根儿不知情，支吾着答不上话来。他下朝退回府中，越寻思越恼火，又衔着以前的怨恨，就找来刑部尚书吴云，口传面授一番。第二天，吴云上到殿中，便参了一本弹劾刘基，说谈洋这个地方有帝王之气，刘基图谋强夺来作为墓地，为后代子孙求得福佑，当地老百姓不给，所以刘基请求设立巡检司驱逐老百姓。
朱元璋虽然没有怪罪刘基，但还是将信将疑，就剥夺了刘基的俸禄。刘基害怕受到不明祸害，便飞马赶入朝廷，当面向朱元璋谢罪，朱元璋却全然不问起此事，仅表面上安慰了他一番，刘基既不能辩白，又心怀恐，于是留在京城，不敢回去。
不久，胡惟庸做了丞相，刘基听到消息，非常忧伤地对家人说：“当初我劝皇上的话犹在耳边，让胡惟庸这个奸臣得势，日后一定会谋反作乱。假使我的话不应验，那就是苍生有福啊。”刘基由于忧愁愤恨，疾病发作。又过了三个月，病情更加恶化。朱元璋派人前去问候刘基，得知他已不能起床了，于是在洪武八年（1375年）三月，朱元璋亲自写了一封公文赐给他，让他乘坐传送公文的船返回家乡青田。刘基到家病情愈加严重，在他弥留之际，把《天文书》交给长子刘琏，说：“这种书不是你等凡俗之辈看得了的，你要赶紧把它给皇上呈上去，不要让后人学习。”接下来，又对次子刘璟说：“做官处理政事，要注意宽大与严厉相济，不偏重于任意一个。当今之务在于搞好德政，减轻刑罚，祈求上天赐予百姓长命。各处险要之地，应与京城遥相呼应。我本打算作一封遗奏，但胡惟庸在位，即使呈上去也没有用。有朝一日，胡惟庸败落后，皇上必定会怀念我，如果有所询问，你就把这些话秘密启奏皇上。”过了一个月，刘基去世，时年六十五岁。
起初，刘基在京城患病时，胡惟庸派医生带着补药前来探望病情。刘基吃了胡惟庸拿来的药后，顿时感到有如拳头大小的石头般的硬物堵塞在腹。这之后，一直到洪武十二年（1379年），中丞涂节告发胡惟庸图谋造反，并称是他毒害刘基，致其死去。涂节说汪广洋应当知道这些情况。朱元璋就询问汪广洋事情真相，汪广洋狡辩说：“我根本不晓得这件事。”朱元璋看他不肯招认，大发雷霆，在朝堂之上，当众责备汪广洋与胡惟庸沆瀣一气，合伙欺瞒，把汪广洋贬到了广南。押送汪广洋的船刚到太平，朱元璋又追想起汪广洋在江西时多方庇护奸人，在中书省任职时不揭发杨宪的奸诈，于是又追发一道敕书，命人诛杀了汪广洋。
刘基被害，这成为了后来胡惟庸的一大罪状，但下毒是否为朱元璋的授意。如今也是一桩悬案。不过，不露声色地毒杀功臣是朱元璋的拿手绝技，大将军徐达也是这样因病受到探望和赠药之后，便不明不白地死掉的。徐达背上患疽疮很严重，经医治稍有好转，朱元璋忽然御赐给他蒸鹅，还命徐达的儿子徐辉祖亲自拿着敕书带到府上。患疽最忌讳吃鹅肉，徐达含泪将鹅肉咽下，密令身边的医生赶快逃走，免得被朱元璋当替罪羊。不久徐达便病重死去。俗话说，兔死狗烹，鸟尽弓藏，明朝皇帝对铲除那些功高震主的勋臣们不遗余力，而刘基之死只不过是开了一个头。
刘基有高尚的节操，每当论及天下安危，气势慷慨，正义表露在脸上。朱元璋一见他，就了解到他十分忠诚，任用为心腹。朱元璋每次召见刘基，都摒退其他人，密语多时。刘基也自认为得遇明主，可以申张自己多年的抱负，因此知无不言，言无不尽。在遇到紧急危难的关头，刘基往往奋勇上前，应对的计策在转瞬间就可定出来。朱元璋闲暇时召见刘基，让他论说君王之道，每次都洗耳恭听，常常称呼他为老先生而不喊名字，说：“你就是我的张子房。”又说：“先生多次用孔子的话开导我。”刘基的一些运筹帷幄的话神秘莫测，外人不能详细得知，而世上流传的甚为神奇，也多是阴阳风角占卜之说，并非他的真正才能。
刘基的两个儿子分别是刘琏和刘璟。
刘琏从小熟读各种书籍，有很高的文才和德行。洪武十年，朝廷授任他为考功监丞，不久出任江西参政，后来遭到胡惟庸及其党徒的逼迫，坠井而死。
刘璟是刘基的次子，二十来岁就通晓各种经书典籍。刘基死后，朱元璋怀念他，每年都召刘璟与章溢的儿子章允载、叶琛的儿子叶永道、胡琛的儿子胡伯机，在便殿相见，亲切交谈像家人一般。洪武二十三年（1390年），朱元璋下令让刘璟继承父亲的诚意伯爵位。刘璟推辞说：“我的兄长刘琏去世后，现在尚有一子在，不曾有一官半职，这个爵位应该由他来继承才合适。”听了刘璟的逊让，朱元璋很高兴，就让刘琏的儿子继承封位，任命刘璟为阁门使，并且告诉他说：“按照宋代制度，阁门使就是掌管谒见接待的礼仪司。我想要你旦夕侍奉在我的左右，以传达旨意作为职守，而不单单是礼仪的事。”
有一次，都御史袁泰上奏事情不实，皇帝没有追究他的过错，宽恕了他。袁泰当时昏头昏脑，竟忘记向皇上谢恩，刘璟就私下提醒他，让他赔罪。朱元璋后来对刘璟说：“凡是像这种情况，你就应该当面纠正，我虽不怪罪他，但也要让他知道朝廷纲纪。”不久，又命他同有关司法部门审查囚狱，昭雪了很多冤案和积案。
刘璟喜欢谈论兵事，一说起来就滔滔不绝。温州人叶丁香叛乱，延安侯唐胜宗奉命去讨伐他，军中大事多由刘璟决策。打败寇贼返回，唐胜宗当着朱元璋的面称赞刘璟的才略。朱元璋高兴地说：“刘璟真不愧是刘基的儿子。”
刘璟有一天与燕王朱棣下棋，两人争道，互不相让。朱棣生气地说：“你就不能对本王爷稍微谦让一点吗？”刘璟却一本正经地说：“可以谦让的地方就谦让，不可谦让的地方不敢谦让。”朱棣默不作声，一把推开棋盘，拂袖而去。后来，朱棣以“靖难”的名义起兵，刘璟回到京城，向朱允炆进献十六条计策，没有被听从。朱允炆命他参与李景隆军事，李景隆战败后，刘璟连夜逃跑，渡卢沟河时，冰裂开马蹄陷落，险些掉入水中。他冒雪行走三十里，儿子刘貊从大同赶来，在良乡遇见他，与他一起返回京城。刘璟又奏上《闻见录》，朱允炆仍然不省悟，刘璟于是回归故里。成祖朱棣即位后，征召刘璟，他假称有病不去，被逮捕到京城。见到成祖时，刘璟仍称呼成祖为殿下，并且说：“殿下百世以后，还是逃不脱一个‘篡’字。”成祖大怒，把他投进监狱，刘璟最后自缢而死。