但许平君毕竟是刘病已患难与共的夫妻，并已生下一个儿子刘奭，刘病已暗示他不忘旧情，于是群臣就只有迎合说应该将许平君立为皇后。霍光的妻子霍显因疼爱自己的女儿，还念念不忘皇后的宝座，刚好皇后怀孕，她便暗见皇后信任的女医师，叫她趁皇后分娩之时毒死皇后。
事成之后，刘病已大怒，但还不知道是被人陷害，只是将所有侍奉的宫女医师逮捕入狱，追究侍奉不周的责任，此时霍显非常紧张她指派的女医师招认，只有向霍光坦白，霍光如晴天霹雳一般，立即想检举霍显，但细想之后，念及妻子及女儿的终身幸福，终于参与了进来，特批杀人凶手无罪。
一年后，霍光的女儿霍成君终于如霍显愿当上了皇后，霍成君出身富贵，习惯奢华，与出身贫寒，习惯节俭的许平君形成鲜明的对比。两年后，霍光逝世，刘病已厚葬之，三年后，霍光封已死的许平君的儿子刘奭为太子，霍显非常生气，毒计又出，教唆女儿在宫中毒死太子，幸而刘奭的奶娘都很机警，从没让霍成君得手。
此时霍光虽死，但他的庞大家族权势尚在，人人都骄傲奢侈，凶暴蛮横，就连霍家奴仆都自认为高人一等。于是刘病已开始逐渐剥夺霍家的权力，霍家人便常常聚在一起倾诉烦闷，此时霍显才将毒死皇后的事情全盘托出，其他人均大吃一惊，顿觉更加危险，唯有谋反才能避免日后毒死皇后的阴谋败露。
于是开始密谋废黜刘病已，立霍光儿子霍禹为皇帝，最后阴谋败露，霍禹被腰斩，霍家全族屠杀。霍家皇后也被废黜，又十二年后自杀，至此，权倾一时的霍家完全灭绝。霍家的终结可以说是霍光的纵容导致的，那么霍光算是一个忠臣吗？霍光在侍奉汉武帝期间，一直兢兢业业，二十多年没有出过一次错误，因此深得汉武帝的信任，最后霍光官至大司马。
在汉武帝临终前，他任命霍光为大司马，嘱咐他辅佐新帝。于是，霍光便尽心辅佐汉昭帝刘弗陵。汉昭帝继位之时，年仅八岁，霍光为其除去有谋反之心的大臣，保他皇位的安稳。所以，汉昭帝十分的信任霍光，认为他有治国之能。后来，汉昭帝更是将朝政托付给大司马霍光，霍光大权在握，成为真正意义上的一人之下，万人之上。
汉昭帝于公元前74年驾崩，由于没有留下子嗣，霍光迎立昌邑王刘贺为新帝。但新帝刘贺淫乱无道，显然不是一个明君。大司马霍光在无奈之下，只得效法伊尹，将刘贺废黜，改立刘询为皇帝。刘询继位后，霍光的权利日益壮大。汉宣帝刘询表面上十分敬重霍光，其实心里一直很忌惮他，认为他手中的权力过大。霍光一生经历了三代皇帝，一直没有谋反之心，反而尽心尽力的辅佐皇帝，为西汉王朝贡献自己的力量。从这一角度来说，霍光是一个忠臣。
