刘贺即位后，其狂纵程度远胜以前，“既立，淫戏无度。……日益骄溢，……日与近臣饮酒作乐，斗虎豹，召皮轩车九旒，驱驰东西，所为悖道。……大行在前殿，发乐府乐器，引内昌邑乐人击鼓，歌吹，作俳倡；召内泰壹、宗庙乐人，悉奏众乐。
“召皇太后御小马车，使官奴骑乘，游戏掖庭中。与孝昭皇帝宫人蒙等淫乱”（《资治通鉴》）。刘贺荒淫如是，作为拥立者，霍光脸上无光。刘贺淫乱非为，霍光尤可忍，毕竟这是历代皇帝的通病；而刘贺在政治上轰轰烈烈的表现，却让霍光忍无可忍。
刘贺登位后，大批旧属得到破格提拔，“昌邑官属皆征至长安，往往超擢拜官”（《资治通鉴》），而且政由己出，“受玺以来二十七日，持节诏诸官署征发，凡一千一百二十七事”，彻底打破了自汉昭帝以来“政事一决于光”的局面。后来，刘贺下台，刘询继位即后来的一代明君汉宣帝。
前64年，汉宣帝派使者张敞监视刘贺，张敞分条禀奏刘贺平日行为，说明他的废亡之状，称刘贺有奴婢一百八十三人，常年关着大门，只开小门出入，只有一个廉洁的差役领取钱物到街上采买，每天早上送一趟食物进去，此外不能进出。前66年，刘贺已经二十六岁，因为一直被囚禁的关系，刘贺患上风湿病，走路不方便，张敞还用猫头鹰去试探刘贺。
张敞将刘贺的妻子儿女、奴婢、财物等上报给刘询，还建议将刘贺身边的歌女、舞女等人送回家。前63年，刘询给刘贺晋封为海昏侯。侍中、卫尉金安上书说：“刘贺是上天抛弃的人，陛下至仁，又封为列侯。刘贺是个愚顽废弃之人，不应该奉行宗庙及入朝行朝见天子之礼。”刘询听取了大臣的建议将刘贺调配到了封国豫章。
几年后，故太守卒史孙万世问刘贺，“从前被废时，为什么不坚守不出宫，斩大将军，却听凭别人夺去天子玺印与绶带呢？”刘贺说：“是的。错过了机会。”孙万世又认为刘贺将在豫章封王，不会久为列侯。刘贺说：“将会这样，但不是应该谈论的。”刘贺这些话很快就传到刘询的耳朵里，刘贺随即被官兵俘虏。之后，刘贺被刘询削去三千户食邑，没多久就去世了。
