却说天下平定之后，目睹朱元璋穷凶极恶的杀害功臣，刘伯温决心隐退。告老回家，在青田县隐居。刘伯温很低调，当地县令想看看刘伯温的尊容，求见不得，便化装成老百姓。此时县令自我介绍说自己便是青田知县，慌得刘伯温赶紧站起，口称小民。然后请其速归。自此再也不见当地官员，恐怕给人留下扰民的坏名声。
刘伯温如此低调，不过皇帝还是没放过他，这又是为什么?
其一，刘伯温聪明。伯温先生料事如神，昔日朱元璋曾问刘伯温当时官员的大致概况：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”太祖又问汪广洋如何，刘基回答：“他的气量比杨宪更狭窄。”太祖接着问胡惟庸，刘基又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”太祖于是说道“：我的丞相，确实只有先生你最合适了。”刘基谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”后来，杨宪、汪广洋、胡惟庸都因事获罪。皇帝是个猜忌心很重的人，如此如何不恼怒。
其二，刘伯温敢于违抗朱元璋。朱元璋想杀死李善长，让刘伯温做屠夫，刘伯温谢绝。皇帝因事要责罚丞相李善长，刘基劝说道“：他虽有过错，不过功劳很大，威望颇高，能调和诸将。”皇帝说：“他三番两次想要加害于你，你还设身处地为他着想?我想改任你为丞相。”刘基叩首说道“：这怎么行呢?更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”
其三，刘伯温不是一般的读书人，此人性情刚强，嫉恶如仇，与羽扇纶巾的书生不同，此人“貌修伟，慨然有大节，论天下安危，义形于色”，而且相貌虬髯，有点像梁山好汉，因此得罪了不少人权贵。
史书记载，刘伯温是吃了胡惟庸送的药之后，病情加剧而死。许多人认为这是老朱借了胡惟庸的刀杀掉刘伯温的，不久之后，胡惟庸全家亦遭灭门之灾。当然朱元璋善于斩草除根，刘伯温的两个儿子也很优秀，不久也分别因为胡惟庸的案子牵连而死。可惜刘伯温为朱元璋立下那么大的功劳，却死的如此不明不白，而且殃及子孙，岂不让人心寒?