善于揣摩圣意的张廷玉，之所以会与乾隆的关系这么差，主要有两点原因，第一点是因为张廷玉的性格让乾隆很不喜欢，晚年的张廷玉性格太过于固执，是乾隆念在其对朝廷有功的情面上才没有与他计较。第二点，因为张廷玉的势力很大，他是雍正钦点的托孤大臣，就连朝廷很多的大臣都有点忌惮他，乾隆自然也就不喜欢这样几乎功高盖主的人。
张廷玉这个名字很多人都熟悉，他曾服侍过三代帝王，包括康熙、雍正以及乾隆，不仅如此，更厉害的是，他成为了清朝唯一一个配享太庙的汉臣，可见其是非常有能力并且获得了君王的信任。早在康熙年间，康熙帝就看中了张廷玉的才华以及他办事的能力，所以很多重要的事情都会交给他去办，对他是十分看重并且信任的。后来到了雍正的时候，张廷玉依然受到帝王的厚待，由于是前朝帝王喜爱的大臣，那么必定是有一定的能力的，于是雍正也非常欣赏他，不得不承认的是，张廷玉确实有能力。
后来雍正驾崩，驾崩之前由于乾隆还很小，很多事情都没有做得十全十美，雍正也不放心，害怕小小年纪的乾隆会遭人陷害，于是就在临死前托孤，让张廷玉辅佐乾隆。作为一个托孤大臣，张廷玉的权力自然是很大的，因此朝廷上很多的臣子都有点忌惮他，而乾隆却也和前面的两位先帝不同，他并不喜欢这位父亲钦点的辅佐自己的大臣。张廷玉辅佐了三代君王，他自然是很懂得揣测君王的心思的，知道什么该做什么不该做，君王喜欢什么而又讨厌什么，只是后来的张廷玉年纪也大了，头脑也没有之前那么清楚，办事效率不高而且因为他固执的性格，让乾隆很是厌恶。
不仅如此，他还得寸进尺，告老还乡之前为了不失去配享太庙的资格，竟然让乾隆写个保证书，实在是太胆大妄为了，乾隆也因为这件事彻底和张廷玉撕破脸了，将他赶回了老家，并且取消了他配享太庙的资格。后来张廷玉病逝，乾隆顾及其服侍过三代君王，没有功劳也有苦劳，更何况他为社稷也确实出了不少力，所以还是让他享有了配享太庙的资格。