感觉都不是做皇帝的料啊，后来太子和魏王争夺王位，而太子被贬为了庶人。皇帝想拥立魏王作为皇帝，这时候长孙无忌出来发话了，他认为应该立晋王为太子，联合了一群大臣向皇帝说明立魏王的诸多不好。李世民重用长孙无忌，尊重并同意了他的想法，不过背后也有一定的想法。
因为当时候的长孙无忌位极人臣，在朝廷中势力已经很大了，他害怕自己过世后，不立与长孙无忌有血缘关系的人做皇帝，长孙无忌会有意见而做出谋反之类的勾当。再后来，皇帝三儿子吴王李恪能文能武，又备受百姓爱戴，对比与那位昏弱内向的李治，他才应该成为太子。
这时候长孙无忌充分发挥出自己奸臣的本质，可能是因为私心过重坚决反对。根据《旧唐书》上说，“长孙无忌既辅立高宗，深所忌嫉”，又有“恪又有文武才，既名望素高”等赞扬李恪的语句。看以看出长孙无忌一生忠直，却因为私心过大，而备受嫉恶。长孙无忌还抓住了一次机会，说李恪有谋反之心，其一家也受株连。
如此一来，大家可以说是绝望了，皇位非李治莫属。李恪死前曾大骂：“长孙无忌窃弄威权，陷害良善，祖宗有灵，必让其宗族覆灭。”的确，长孙无忌已经横行无忌，摆弄权利，这一步走得确实让人心寒。当然到了后来，李治还是成功上位，他诏废王皇后和萧淑妃，册立武则天为皇后。
当时有人大力反对，因谏净，褚遂良等人被远贬蛮荒，武则天最忌恨长孙无忌，但他不同于褚遂良等，不但是佐命元勋，更是高宗的元舅，要将之搞垮，需要时机。显庆四年（659年），在武则天的授意下，由许敬宗费尽心机，把长孙无忌编织进一桩朋党案，进行恶毒陷害。
许敬宗借处理太子洗马韦季方和监察御史李巢朋党案之机，诬奏韦季方与长孙元忌构陷忠臣近戚，要使权归无忌，伺机谋反。唐高宗先是吃惊不信，继而伤心怀疑，命许敬宗再察，然后面对许敬宗足未出户编造的关于韦季方交待与长孙无忌谋反的供词，哭泣道：“舅若果尔，朕决不忍杀之，天下将谓朕何，后世将谓朕何！”
许敬宗举汉文帝杀舅父薄昭，天下以为明主之例宽慰高宗，又引“当断不断，反受其乱”的古训，催促其下决心。唐高宗懦弱昏庸，竟然不与长孙无忌对质（或者他需要不进行对质），就下诏削去了长孙无忌的太尉官职和封邑，流徙黔州，但准许按一品官供给饮食，算是对元舅的照顾，对当年为其争得帝位的报答。
长孙无忌的儿子及宗族全被株连，或流或杀。三个月后，高宗又令许敬宗等人复合此案，许敬宗派大理正袁公瑜前往黔州，逼迫长孙无忌自杀。
