说雍正在日，张廷玉绝不敢与朱荃结亲，此确为诛心之论。乾隆对张廷玉的猜疑，至此又一变。最初是怕他回里之后，会泄露他所知道的先朝的秘密；再是疑心他“旋进旋退”，不愿实心辅佐；至此，认为他根本就没有把自己放在眼里。任何英主最不能忍受的就是这一点，乾隆自然要震怒了。

在命黄廷桂派司道大员赴桐城面询张廷玉时，乾隆又特派内务府大臣德保，去追缴赏赍各件，哪知德保到了桐城，竟是抄张廷玉的家。后来上谕中说，是德保弄错了，将张廷玉的家产发还。这是“有意弄错”的，目的是借此抄一抄张廷玉私人收藏的文件，有无关于雍正夺位的任何秘密记录。否则抄家是何等大事，德保何能不弄清楚，贸然行事？就算德保是真的糊涂弄错了，乾隆必加严谴，何能不追究责任？

张廷玉到此地步，除了服罪，更复何说？奏上交议，吏部议奏：“革去职衔，交刑部定议，以为负恩玩法者戒！”上谕宽免，但痛斥一顿：

张廷玉身荷三朝厚恩，罕有伦比，且膺配享太庙之旷典，宜何如感激报效，以尽匪懈之谊。即年已衰惫，亦当依恋阙廷，鞠躬尽瘁，不忍言去。乃伊平时则容默保位，及其既耄，不得复行己私，但思归荣乡里，于君臣大义，遂恝然置之不问。以如此存心，不惟得罪于朕，并得罪于皇考。是以天地鬼神，显夺其魄，俾一生居心行事，至此尽行败露，情罪实属重大，即褫其官爵，加以严谴，亦不为过。

至党援门生，及与吕留良案内之朱荃联为儿女姻亲之罪，在伊反为其小焉者矣。既经罚锾，且令追缴恩诺物件，已足示惩。若又如该部所议，革职治罪，在张廷玉忍于负朕，自所应得，而朕心仍有所不忍，着从宽免其革职治罪，以示朕始终矜宥之意。

乾隆之为君也，英察有余、仁厚不足。对张廷玉的处置，迹近精神虐待。张廷玉想荣归故里，欢度余年，而求荣反辱，里居则不测之祸迭起。乾隆是有意报复，要让张廷玉觉悟，早知如此，不如留在京里，安富尊荣为得计。乾隆一生行事，类此刻薄之处，不一而足。

张廷玉里居五年而卒。乾隆仍遵遗诏，配享太庙，恤典如常，谥文和。四十四年御制怀旧诗，列张廷玉于“五阁臣”中。诗曰：

风度如九龄，禄位兼韦平，承家有厚德，际主为名卿。不茹还不吐，既哲亦既明，述旨信无二，万言顷刻成。缮皇祖实录，记注能尽诚，以此蒙恩眷，顾命配享行。及予之莅政，倚任原非轻，时时有赞襄，休哉国之桢。悬车回故里，乞言定后荣，斯乃不信吾，此念讵宜萌。臧武仲以防，要君圣所评，薄惩理固当，以示臣道贞。后原与配食，遗训敢或更，求享彼过昭，仍享吾意精。斯人而有知，犹应感九京。

这首诗中，乾隆将他对张廷玉的看法，以及何以对廷玉不满，说得相当明白，其中最要紧的是：“述旨信无二，万言顷刻成。缮皇祖实录，记注能尽诚”四语，其中包含了许多故事。而张廷玉之终能配享太庙，则得力于“不茹还不吐，既哲亦既明”，言其始终能保持世宗的秘密之故。

桐城张氏，在清初即为世家，至“廷”字辈而大昌，门第甚盛。张氏后裔今在台者想亦不少，恐不知其先德在有清三百年中，唯一以汉大臣配享太庙的内幕。至于乾隆之与张廷玉，恐尚有一段秘密瓜葛，与乾隆四年的一重疑案有关。这重疑案，治清史者从未有人说道，于今文献难稽，我亦只能一谈疑案之所以为疑而已。

《清史稿·高宗本纪》，乾隆四年十月：