再加上身缠病魔，体弱多疾，又目睹彭越、韩信等有功之臣的悲惨结局，联想范蠡、文种兴越后的或逃或死，深悟“狡兔死，走狗烹；飞鸟尽，良弓藏；敌国破，谋臣亡”的哲理。
惧怕既得利益的复失，更害怕韩信等人的命运落到自己身上，张良乃自请告退，摒弃人间万事，专心修道养精，崇信黄老之学，静居行气，欲轻身成仙。但吕后感德张良，劝他毋自苦，张良最后还是没有听从吕后的劝告，仍就服人间烟火。
相传汉相张良助刘邦平定天下后，即寻其师黄石公居住的通城县张师山（张良老师隐居之山命名为张师山，位于湖北省咸宁市通城县西北）。张良在张师山相距约50公里处访得一风景宜人的黄袍山隐居下来（黄袍山位于湖北省咸宁市通城县东南），张良并修建了“良山道观”，在道观不远处创办了“伐桂书院”，以授当地孩子文字。
伐桂书院遗址位于湖北省通城县黄袍山大埚山谷中，伐桂书院古石碑仍存。黄袍山后人为了纪念张良，为其修建了圮桥和石墓。由于张良的晚年活动鲜为人知，以至被人蒙上一层神秘色彩，而张良死后究竟葬于何处，也成为千古之谜。
张良的祖先是战国时韩国人，他的祖父张开地曾担任韩昭侯、韩宣惠王、韩襄哀王的相国，父亲张平曾担任韩釐王与韩桓惠王的相国。秦国在前230年灭韩后，张良散尽家财而求得一大力士相助，“见仓海君，得力士，为铁椎重百二十斤”，伏击行刺秦始皇于博浪沙（今河南省原阳县）中，却击中副车而未获成功。张良后由黄石公赠送《太公兵法》，即所谓“圯桥三敬履”与“孺子可教”的故事。
张良作为刘邦的谋臣，往往能在关键时刻给予刘邦正确建议。诸如郦食其建议刘邦在与项羽对战时，不如大封过去六国，使其纷纷独立而对抗项羽。刘邦听后十分心动，便派人赶快刻印玉玺游说，张良立刻反对，以免酿成后世大祸。
在击败项羽后，娄敬建议刘邦入都关中，但遭群臣反对。刘邦询问张良的意见，张良则认为关中条件比洛阳好，于是建都长安。后来七国之乱时，朝廷军正好依照张良规划，沿着长安顺流而下进攻关东。
