永徽四年（653年），房遗爱与高阳公主谋反事泄，无忌为稳固高宗帝位，以谋反案诬陷吴王李恪，李恪与房遗爱、高阳公主等一同被杀。永徽六年（655年），高宗欲立武昭仪为皇后，无忌坚决反对，招致武后仇恨。许敬宗希旨，诬构无忌谋反，高宗削无忌爵，流黔州（今重庆彭水郁山镇），659年被逼自缢死。
天下哀之，虽然不久后他的子孙就被召回仕官袭爵，但长孙一族由此衰败。唐肃宗时，下诏追复无忌官爵。无忌有诗三首留于后世。长孙无忌之死，普遍认为是武则天及其党羽下的毒手，原因是长孙无忌曾在唐高宗废立皇后问题上得罪了武则天。这样的观点，看似合乎逻辑，其实不然。
其一，长孙无忌是三朝元老，皇亲国戚，武则天虽为皇后，但绝不可能轻易撼动这位人望极高的功臣元勋；其二，长孙无忌死后的第二年，武则天才开始代理国政。所以，武则天当时即使有杀长孙无忌之心，也无杀长孙无忌之力，逼死长孙无忌的只能是唐高宗李治。
李治能当上皇帝，全靠长孙无忌从中周旋。那么，对于这位亲舅舅、把自己推上权力巅峰的第一功臣，唐高宗为什么会迸发出杀机呢？唐高宗在位期间最大的政治事件莫过于废立皇后之争，在这场政治风波中，产生了两派针锋相对的政治势力。
以许敬宗、李义府等人为代表的支持派和以长孙无忌、褚遂良等人为代表的反对派。两派之间实力悬殊，胜败很容易分晓，而当唐高宗铁了心非要立武则天为后时，胜败就已注定。武则天为后的问题上却相当果决。为此，他开了中国历史上皇帝向臣子行贿之先河。
“帝将立昭仪武氏为皇后，无忌屡言不可，帝乃密遣使赐无忌金银宝器各一车，绫锦十车，以悦其意。”（《旧唐书》）接着，武则天趁热打铁，先是让母亲杨氏“自诣无忌宅，屡加祈请”，后又派礼部尚书许敬宗“屡申劝请”，希望通过怀柔政策买上通达皇后宝座的门票，结果却遭到了长孙无忌的“厉色折之”。
