讷亲代替张廷玉成为内阁首辅之后，又成为首席军机大臣，毫无经验的年轻人超越了“老古董”张廷玉。乾隆帝说： “我朝旧制，内阁系满大学士领班。”那么，在军机处就更是如此。张廷玉不得志，几次请辞，都不获准。后来乾隆帝同意张廷玉以原官退休。
鄂党大臣史贻直向乾隆帝进言： 张廷玉不配“配享太庙”。张廷玉得知消息，惟恐乾隆将来不能兑现雍正帝“可配享太庙”的遗诏，急忙进宫陛见，声泪俱下，请求皇帝赐一券以为凭证，乾隆帝虽然对于张廷玉请求颇为不快，但还是答应了。颁诏重申了先皇成命。他写了首诗赐给张廷玉，在诗中表明不会改变先皇遗诏，但也对张廷玉的功绩表示怀疑。
第二天，张廷玉没有亲自来谢恩，却让儿子代替他来谢恩。乾隆帝很生气，指责他“伊近在京邸，即使衰病不堪，亦应匍匐申谢。乃陈情则能奏请面见，而谢恩竟不能亲赴阙庭！视此莫大之恩，一若伊分所应得，有此理乎？”张廷玉求配享可以面陈，在得到恩允后为何不能亲自进宫谢恩呢？
命军机处傅恒与汪由敦拟旨责问张廷玉“其愿归老乎？愿承受配享恩典乎？令其明白回奏”。张廷玉的门生大学士汪由敦立即免冠为老师求情。第二天张廷玉就进宫谢恩了。乾隆帝认为张廷玉没有接到圣旨就来了，一定是汪由敦通风报信了。当初，张廷玉退休，推荐汪由敦接任大学士，显然是结党营私。
他说：“朕为天下主，而令在廷大臣因师生而成门户，在朝则倚恃眷注，事事要被典，及去位而又有得意门生留星替月，此可姑容乎！”斥责他“负恩植党”，下令削去张廷玉的伯爵，汪由敦也被罢职。后来张廷玉要回老家，又惹火了皇帝，说他“营营思退”是宦途失望，又有家财可以养老。
乾隆帝把过去配享太庙的功臣名单给他看，对照自审应否配享？然后罢了张廷玉的配享。乾隆十五年（1750年），皇帝又以张廷玉的儿女亲家四川学政朱荃匿丧赴考、贿卖生员，再次对张廷玉问罪，没收往年赏赐的御笔、书籍等物件，并罚银15000两，“终身不令觐”。至此，张廷玉彻底失势，能保住性命就不错了。其门生故吏，各寻去处，有人竟然又去投靠张廷玉的政敌史贻直。
不过，乾隆二十年张廷玉去世时，乾隆帝还是遵照雍正帝的遗诏令其配享太庙，因为他心里明白，剥夺张廷玉配享太庙的理由并不充分。张廷玉是享此殊荣的惟一一个汉人。乾隆二十三年，在修订他的文集《乐山堂全集定本》时，乾隆帝又把当年颂扬张廷玉的一篇文章《送张先生暂假归里序》删去。可见他对张廷玉仍然是耿耿于怀。
