乾隆十三年十一月，云南巡抚图尔炳阿疏参赵州知州樊广德亏空。按照定例，巡抚参劾属员，应由总督审拟，而内阁却错误地拟为由巡抚审拟。乾隆发现其误，即予痛斥，命将大学士陈世倌、史贻直交部严查议奏。部议应革职。乾隆降旨批示说：陈世倌自补授大学士以来，无参赞之能，多卑琐之节，纶扉重地，实不称职，著照部议革职。
随即他又就陈世倌的“卑琐之节”加以具体化，下谕说：朕前谓陈世倌多卑琐之节，并非泛论。例如，陈系浙江人，乃伊因与孔府有交往，便于山东兖州私置田产， “冀分其余润，此岂大臣所为”？谕命山东巡抚，不准陈世倌居住兖州。按常理说，既为人之子，岂能骂父亲“多卑琐之节”，而且具体引例为证，还谕命革其官职不准住居兖州。自诩以孝治天下的乾隆帝，怎能如此斥责亲生父亲，还要罢其官职？
疑问之二，所谓乾隆南巡是为了探望亲生父母，四次皆住陈家，可是，陈世倌自十六年蒙恩复官以后，二十二年便以老病奏准解任养老，二十三年二月陛辞，还未成行，于四月病故。而乾隆于十六年一下江南，二十二年再下江南，都没有到海宁，雍正皇帝朝服像第三次南巡起，到六下江南，才去到海宁，视察海塘工程，并住在陈世倌家的隅园，这时陈已故去。乾隆之住陈府，并将隅园赐名为安澜园，显然是为了修建海塘，防御海潮侵袭。
疑问之三，雍亲王如果要抱养别人之子为己子，并且是抱养汉人之子，这严重违犯了满汉不能过继的法令，更是混淆天潢贵胄的大罪，一旦被争夺皇位的政敌发现，雍亲王便会削爵下狱，永世不能翻身。心思细密疑心特重的雍亲王，他会行此冒天下大不韪之事吗？
疑问之四，退一万步说，雍亲王即使胆比天大，敢于做出这等危险万分的事，可是，有这个必要吗？除非他是断子绝孙，并且不能生育，要不然，他绝对不会这样行事的。可是，雍亲王并非断子绝孙之人，此时他才34岁，已有了3个王子，虽然其中两个王子已早殇，但第三个王子弘时已经8岁，并且弘历生下之日，还有一个已经怀孕六七个月的王妃，在这样条件下，雍亲王怎会抱养汉人之子为自己的儿子呢？可见，弘历是陈阁老之子的传说，是无法成立的，不是事实。
另一种说法是，弘历是雍亲王胤稹的儿子，可是却非钮祜禄氏所生，弘历的生母不是满人，而是汉女。这种说法说，雍亲王在热河打猎时，射中一头梅花鹿，雍亲王喝了鹿血后欲火中烧，难以忍耐，附近又无王妃妾媵，就抓住山庄中的一个汉人女子上了床，后来这个汉女生下了弘历。
