刘伯温，这是一个在民间传说中有着类似诸葛亮那样传奇色彩的人物。他曾辅佐朱元璋完成帝业，开创明朝天下。他足智多谋，才能出众，是杰出的政治家、军事家和文学家，被喻为魏徵、诸葛亮再世，其功劳并不逊色于李善长。
洪武三年（1370年），朱元璋大封功臣。授李善长中书左丞相，封韩国公，岁禄四千石，子孙世袭，朱元璋更是把他比做汉之萧何。封刘伯温诚意伯，岁禄两百石。
受封当晚回到家中，刘伯温长子刘琏问道：“父亲，儿不明白为何父亲仅被封为伯爵，而李善长竟然位居六公之首？这太不公平了。”
“琏儿呀，你还太年轻啊，许多道理你还不明白，皇上这是向着我们呢！”刘伯温道。
“儿的确不明白。他李善长岁禄四千石，为何仅予父亲两百石？就算李善长居功至伟，但父亲也不遑多让呀！”刘琏实在是不解，他替父亲觉得委屈。
“琏儿，自古以来飞鸟尽，良弓藏。此时，谁的地位越高，谁也就越危险啊。你可以这样想，为父岁禄虽只有区区两百石，仅为李善长的二十分之一，但为父的危险也只有他李善长的二十分之一。”刘伯温解释道。
刘伯温明白，如今天下初定，皇上还不敢对这些有功之臣下狠手，但这一天迟早都会来临。朱元璋这个皇上如此聪明，他不会留着这些功臣的。只要老百姓能过上太平日子，我刘伯温还有何求！该是我回青田老家过几天清静日子的时候了，找个适当时机就回去吧。这官场污秽不堪，荣华富贵万不可贪恋啊。
统治阶级的内部矛盾随着政权的日益稳固也逐渐暴露出来。从朱元璋政权的基础看，它有两支基本力量：淮西集团和浙东集团。朱元璋建国称帝后，淮人在政治、军事、经济上占了绝对优势，而浙东集团被排挤、受压抑，他们自然不甘心放弃，千方百计设法获取朱元璋的信任。就这样两大派系斗争越发尖锐激烈。这种矛盾反被朱元璋所利用，重用淮人又用浙东势力来监视淮人，加强和巩固自己的权力。当时，左丞相李善长功高望重，为众人敬仰，只有刘伯温与之分庭抗礼，李善长不乐。
过了段时间，皇上召刘伯温进宫议事。君臣礼毕，朱元璋问道：“伯温啊，有没有什么话想对我说啊？”
刘伯温明白，皇上这是在问自己对封爵一事有没有意见呢。“启禀皇上，臣没有什么要说的。”
“你不说我也明白，这些年你跟随我没少给我出谋划策，立下了不少功劳。和李善长比起来，封你为伯爵确实委屈你了。如今右丞相徐达征战在外，我准备增设一个丞相，让你来做，你看如何啊？”
“皇上这万万不可啊，臣担当不起！”刘伯温立即俯身下拜道。
“有什么担当不起的，我认为你做丞相比李善长更合适。”皇上扶起他道。
“皇上过奖了，李相国是柱国大臣，功勋显赫。而臣只不过是那山野小树，能支起只檐片瓦以得安身已是不错，怎可和李相国相提并论。”刘伯温趁机道出自己的归隐之心。
朱元璋明白，李善长没少说刘伯温的坏话。刘伯温在此时拒绝丞相一职，其原因只是为求自保。“伯温，你的才干我太清楚了，这丞相一职我以为你最合适。你不愿意只怕是另有原因。最近有些折子都在说你的是非，当然也有说李相国的。你怎么还说李相国的好呢？”
“皇上，臣性子直，只怕是得罪不少人。但平心而论，目前丞相一职还是李相国最为合适。现在文武百官的关系，怕只有李相国一人能够理顺。”刘伯温明白，现在诸文武多是淮西子弟，他们统揽朝廷大权。在这种情况下，他根本无法立足，所以丞相一职自己绝不能担任。
“既然你不愿意做这个丞相，我也不勉强你了。我有几个人选你帮我参谋一下。”朱元璋心里明白刘伯温在担心什么，便不再勉强。
“杨宪如何呀？”朱元璋问道。
“臣以为杨宪不行。”刘伯温很感激皇上能与他共同探讨丞相人选。
“为什么啊？当初可是你把他推荐给我的啊。”朱元璋很是不解。
“杨宪的确具有相才，也很得皇上赏识。但他办事好勇斗狠，处理不好与群僚的关系。只怕日后一旦为相，会使百官人人自危，引起变乱啊。”杨宪是刘伯温的好友，刘伯温太了解他了。
“那汪广洋怎么样？”朱元璋继续问道。
“此人还不如杨宪，他的才气不能统领群臣，做个中书省参政已足矣。”
“那胡惟庸呢？”
“此人有相才，但气量不足为相。遇事睚眦必报，一旦为相，必打压异己。”
“难道他们都不行吗？”朱元璋愤愤道。
“皇上，臣以为现如今有李相国坐镇中书省已经足够了。皇上大可不必为此心烦。”刘伯温明白，李善长如今已统揽朝政，谁出任另一个丞相也不可能从根本上改变这一现状。皇上想靠增加一个丞相职位来牵制李善长，只怕是徒劳无益。
朱元璋也明白这个道理，他早有废李善长之心，只是时机还未成熟。李善长位居六公之首，一旦动了他，只怕那些开国功勋会人人自危。
北伐军攻克河南后，朱元璋赴汴梁，刘伯温和李善长留守应天。刘伯温谓宋元以宽纵失天下，宜肃纪纲。于是朱元璋诏令诸御史纠劾时不要有任何回避，宿卫宦侍有过者，皆启禀皇太子置之于法。中书省都事李彬由于贪欲服法，李善长因和他有很好的交情，请刘伯温拖延处理此案，刘伯温不徇私情，马上上报，报可，方祈雨，即斩之。李善长从此与他断绝了关系。朱元璋回应天后，李善长攻击刘伯温在盛夏祈雨时，杀人于祭坛下。其他怨恨刘伯温的人也相互诉苦诬告。朱元璋留下折子没有处理。正逢大旱，朱元璋要求大家广为进言，刘伯温奏：“士卒死后，其妻悉处别营，凡数万人，阴气郁结；工匠死，暴尸野外；吴将吏降者皆编军户，足干和气。”朱元璋按刘伯温的主张办完这些事，然而十天之后仍未降雨，心中恼火，恰逢刘伯温丧妻，就批准他告老回家。这时朱元璋方有在凤阳建造中都的意思，又锐意出塞追歼残元主力王保保。刘伯温在回乡之前进言说：“凤阳四散之地，非天子宜居；王保保未可轻也。”后来果然又如他所说。
这年冬天，朱元璋念及刘伯温劳苦功高，亲自修书，召他回京，赐赉甚厚，进兼弘文馆学士，并追赠其祖、父皆永嘉郡公。洪武三年11月，朱元璋大封有功之臣，授刘伯温诚意伯。到了第二年，才又允许他回家。
刘伯温性格刚强，疾恶如仇，不能忍受不平之事。因此他与许多权贵不和。加之洪武初年，他位高不居，功成身退，不愿为相，使性本狐疑的朱元璋对之不满，触犯了“寰中士大夫不为君用，是自外其教者，诛其身而没其教，不为之过”的禁条。他屈己藏身，消极逃遁，反为小人提供了一块禁脔，日后他们凭借自己手中的权势，不断加害刘伯温。
洪武四年（1371年）1月，李善长告老还乡。一时丞相一职没有了合适人选。朱元璋现在最欣赏的人选是胡惟庸，可刘伯温曾说过不可让胡惟庸掌相权，若为相则必难驾驭。虽然答应了李善长以胡惟庸为相，朱元璋觉得还需先观察一下再作决定。
思来想去，朱元璋决定把流放在外的汪广洋召回应天，重新入主中书省，且命他为相。选择汪广洋，朱元璋出于两点考虑：首先，汪广洋被贬实属被冤；其次，汪广洋在中书省虽没功劳可也没犯错，最难得是他很明白自己的心思，即便汪广洋坐了丞相的位子，也会懂得把实权交给皇上心仪的人。于是朱元璋即命汪广洋为右丞相，胡惟庸为左丞相。
随着权势的增大，胡惟庸日益骄横跋扈。仗着以淮西勋贵做后台，又凭借皇帝的宠信，胡惟庸在中书省为所欲为。各部门的奏章，胡惟庸必先自己看过再交给皇上，对自己不利的，他就隐藏起来，不上报给皇上。一时胡惟庸权倾朝野，喜欢钻营的就极力巴结他，看不惯的也是敢怒不敢言。
胡惟庸的胆子越来越大。虽然汪广洋在他之上，但他明白，他的真正威胁不是汪广洋，而是那个告老还乡，但仍留在京城的刘伯温。此人极得皇上赏识，又聪明过人，一日不除刘伯温，自己做起事来就一日不安心。
刘伯温说的没错，胡惟庸掌权后不仅难以驾驭，而且气量狭小、睚眦必报。胡惟庸没有忘记刘伯温当年在皇上面前说自己的坏话。出于多方考虑，胡惟庸决心除掉刘伯温。于是在刘伯温生病期间，胡惟庸买通给刘伯温看病的太医，偷偷在刘伯温药里下了毒。
这一天，胡惟庸装作替皇上赐药，随同太医来到刘府。
“刘大人，皇上今天派我来探望刘大人。皇上特赏你奇珍药物一瓶，盼刘大人早日康复。”胡惟庸一反常态地客气谦卑。
“谢谢胡大人，我想知道这药是不是皇上给我的，你可以让我明明白白地离开人世吗？”刘伯温气喘吁吁地说道。
皇上的心思越来越难以把握，连刘伯温这样的老臣也不知这药是皇上所赐还是胡惟庸的主意。
胡惟庸笑说：“刘大人这又何必呢，你不是料事如神吗？你就猜猜看。不过皇上说了，一定让我看着你喝下去他才放心。”
是的，这药是谁给的已经不重要了。刘伯温知道这一天迟早会来的，他对于皇上来说已经没有价值了。如今的皇上运筹帷幄，又何须他刘伯温在耳旁唠叨。胡惟庸更是对自己嫉恨交加，如今得势，除掉自己也在所难免。
“父亲，这药你不能喝啊！”刘伯温的长子刘琏恳求道。
“琏儿快住口，你要好好保重，记得把我送回青田老家啊。”刘伯温岂不知这是毒药，只是他不能不喝呀。
刘伯温含泪苦笑着喝下毒药，觉肚中有个拳头般的块状体，又过了三个月，病情转坏。朱元璋听说后遣使护送他返乡，而且亲自写下意味深长的话：“君子绝交，恶言不出；忠臣去国，不洁其名。”刘伯温刚到家里，病情即恶化，一个月之后便去世了。享年六十五岁，谥“文成”。
朱元璋得知刘伯温的死很伤心，这种伤心是发自内心的悲哀，他知道自己的双手已经沾满了鲜血，刘伯温可以说是死在他朱元璋的手上，他不放纵胡惟庸，胡惟庸何以猖獗至此。可是皇位在，他就必须狠心，是皇权逼他不得不如此，皇上若太过仁慈，必然被臣子左右。悲伤只不过片刻，很快朱元璋又回到皇上的位置来。他心里清楚，从长远来看，刘伯温作为浙东派的代表也必须铲除，胡惟庸替他做了他不愿公开做的事。
刘伯温死后不久，胡惟庸案发。朱元璋方想起刘伯温生前所言，十分后悔。他对刘璟说，你父为我忠心不二，临终前都还惦记我，如今我才知道他是被奸臣暗算了。我要向天下公布他的好处。又安慰道：“你父亲是有分晓的，如今我做皇上的也是有分晓的，终不会负了他的好名声。”洪武二十三年（1390年），朱元璋颁诰，令刘伯温子孙世袭诚意伯爵禄。