后来朱元璋谋反，听说刘伯温的大名，于是便请他出山辅佐自己。刘伯温细细地为朱元璋分析了当前的局势，便劝说朱元璋集中兵力，尽量避免分头作战，这些建议立即被朱元璋采纳了。朱元璋多次称刘基为：“吾之子房也。”在文学史上，刘基与宋濂、高启并称“明初诗文三大家”。中国民间广泛流传着“三分天下诸葛亮，一统江山刘伯温；前朝军师诸葛亮，后朝军师刘伯温”的说法。他以神机妙算、运筹帷幄著称于世。
在洪武八年的正月下旬，刘伯温的身体出现了不适，经检查发现，只是普通的风寒罢了。朱元璋知道了刘伯温生病了，于是就派胡惟庸带上御医到刘伯温家中为刘伯温治病。当时，当刘伯温服用了御医所开的药方之后，发现病情越来越严重了，而且还发现肚子都中有坚硬的物品存在，这令刘伯温感到十分痛苦。
在二月份，刘伯温抱病面见朱元璋，告诉朱元璋自己在服用了御医开的药之后，病情不但没有减轻，反倒加重了不少。但是朱元璋却不以为然，告诉刘伯温不要想太多，安心养病就好了。朱元璋的反应令刘伯温十分的寒心，于是刘伯温只好自己返回家乡。在家中，刘伯温只能依靠一些药物来维持自己的正常进食。
回到家乡之后不久，刘伯温发现自己的身体越来越差，连正常的进食都已经无法保证了。最终，刘伯温发现自己已经时日无多时，便叫来了自己的两个儿子交代后事。刘伯温叫自己的儿子将自己书房当中的一本天文书拿出来，告诉他们，从今以后，刘家的后人不许学习这一本书上的内容。并且，在自己死后，一定要立即送给朱元璋。此外，刘伯温还告诫自己的儿子为官为民之道。之后，刘伯温便逝世于自己的故乡，享年六十五岁。
