长孙无忌的坚定立场得罪了武则天，还不如说他的不近人情深深刺痛了唐高宗。不久，即永徽六年（655年）十月，唐高宗“竞不从无忌等言而立昭仪为皇后”。之后，凡是与长孙无忌一起反对立武则天的臣僚，大多被罢免或疏远。如果没有唐高宗点头授意，武则天能扳得动谁？
长孙无忌，年龄越大，那种朝纲独断的信念就越强烈，为此，唐高宗必须要除掉长孙无忌。显庆四年（659年），许敬宗为了迎合唐高宗，派人上奏称“监察御史李巢与无忌交通谋反”。对于这桩大案，唐高宗先是“惊”，继而“泣”，可他既没有找长孙无忌当面对质，也没有做任何的调查取证，就把亲舅舅发配到了黔州。
这只能说明唐高宗内心已经默许了许敬宗的诬告。长孙无忌在袁公瑜等人的“暴讯”下自缢。此后，武则天一步步染指权力，最后自立为皇帝，改国号为大周，唐朝国祚一度中断。唐高宗逼死长孙无忌，本想就此独掌大权，但最终却被以武则天为首的新政治势力架空。这恐怕是唐高宗没有想到的。
长孙无忌的儿子们有长子长孙冲：尚太宗女长乐公主。官至秘书监。冲生子延，延生子（元）冀（追念无忌功劳，复封为赵国公）。此外还有次子长孙涣、三子长孙浚、四子长孙淹、五子长孙温、六子长孙澹、七子长孙净、八子长孙溆、九子长孙湛、十子长孙津、十一子长孙泽、十二子长孙润：封金城县子。
除了长孙冲曾担任较高的官职外，其余多是因为父亲的恩荫而授与一些较低的爵位和食邑。在长孙无忌遇害十五年后，高宗为其平反，追复了他的官爵，并由其曾孙袭赵国公。但长孙家族并没有因此东山再起，恢复往日盛况，子孙往往也只担任一些中下级官吏。
直至唐末，长孙无忌的子孙担任官吏的有：长孙钧为猗氏县令，长孙铸考中进士，长孙铎为知杂侍御史，长孙延为司津监，长孙昕为尚衣奉御，长孙演为长安县令等等。
