乾隆十九年（1754年）至三十三年（1768年），是纪晓岚在翰林院春风得意、酣酒高歌的日子。这时与他交游的朋友中有王鸣盛、钱大昕、朱筠、王昶等。乾隆二十年（1755年），纪晓岚在北京歙县会馆拜见了戴震，两人一见如故。
戴震，字东原，徽州人，他治学广博，音韵、文字、历算、地理无不精通。当时戴震是来京避难的。两人情深意笃。纪晓岚还曾出资将戴震的《考工记图》付梓，并为之作序。戴震后来几次到京师都住在纪晓岚家。乾隆三十八年（1773年），戴震还因纪晓岚的推荐进入四库馆。戴震去世后，纪晓岚曾深情赋诗，说是“披肝露胆两无疑”的朋友。戴震对程朱理学“存天理、灭人欲”等扼杀人性的尖锐抨击，在纪晓岚纂修的《阅微草堂笔记》和《四库全书总目提要》中也都有相当深刻的反映。
乾隆三十三年（1768年）六月，据《清高宗实录》记载，两淮盐政卢见曾因有营私贪污行为而被革职查办。纪晓岚则因为通风报信而被发配乌鲁木齐。这件事《清朝野史大观》的记载更为生动有趣：当时纪晓岚得知消息，想预先通知卢家，但又怕引火烧身，不敢轻易传话、写信。他想出了一个绝妙的办法，把一点食盐和茶叶封在一个空信封里，里外未写一字，星夜送往卢家。卢见曾从中终于悟出其中的隐语：“盐案亏空查封”。后经刘统勋等人的严密侦缉，纪晓岚终于败露，同年十月，被遣戍乌鲁木齐赎罪。
在乾隆三十六年（1771年）六月奉召回到京城之前，纪晓岚在新疆待了两年多。在这两年多时间中，其大儿子纪汝佶病亡，爱妾郭彩符也撒手人寰。在这段日子里，纪晓岚对人生有了更深切的感悟，体会到了君主的无常、官场的险恶与世态的炎凉。
在这期间，他曾为自己的一块砚台赋诗：“枯砚无嫌似铁顽，相随曾出玉门关。龙沙万里交游少，只尔多情共往还。”他还曾为一幅《八仙对弈图》题诗，图上，韩湘子、何仙姑对局，五仙旁观，铁拐李酣然大睡。纪晓岚端详过后，无限感慨涌上心头，信笔写道：
十八年来阅宦途，此心久似水中凫。
如何才踏青明路，又看仙人对弈图。
局中局外两沉吟，犹是人间胜负心。
哪似顽仙痴不省，春风蝴蝶睡乡深。
重返翰林院，使纪晓岚的思想为仕与隐的抉择产生过激烈的斗争。他对人生世事的认识更加清醒，对盛衰荣枯之理也有了更深的理解。与其争强好胜，还不如酣然“痴不省”而来得快活。
但是，纪晓岚最终还是没有退隐。纪晓岚生活后期，备受恩宠。他三迁御史，三入礼部，两次执掌兵符，最后竟以礼部尚书、协办大学士加太子太保管国子监事致仕。
那么，纪晓岚与刘墉、和珅这些家喻户晓的人物到底关系如何呢？
纪晓岚与刘墉有着不解之缘。刘墉的父亲刘统勋正是纪晓岚的乡试主考官。对刘统勋的知遇之恩，纪晓岚一直是感激涕零、念念不忘的。而后来纪晓岚被发配的案件，又恰是刘统勋负责。还有更巧的，举荐纪晓岚担任四库馆总纂官的，也是这位刘大人。刘墉，字崇石，号石庵，刘统勋长子。刘墉在民间是个颇具知名度的人物，家喻户晓的《刘公案》就是表彰他的。刘墉比纪晓岚年长四岁，都是一代才子。和珅专权数十年，内外诸臣，无不趋走，唯刘墉、纪晓岚等为数不多的几个大臣始终不曾依附。他们一个善文，一个工书，却都有收藏砚台的癖好。有时相互赠送，也常为一个心爱之物而互相攘夺，但彼此都恬不为意，并以之为笑谈。
在电视剧中，纪晓岚与和珅的关系经常是形同水火，势不两立。民间也有不少传说，多次讲到纪晓岚如何捉弄和珅。《清朝野史大观》就记载，和珅在宰相府内修建凉亭一座，需要一幅亭额，便求纪晓岚题字，结果纪晓岚爽快答应，题以大字“竹苞”。这二字出自《诗经·小雅·斯干》中“如竹苞矣，如松茂矣”句，人们常以“竹苞松茂”颂扬华屋落成，家族兴旺。和珅得到纪晓岚的题字，大为高兴，就高高挂在书亭上。乾隆偶尔临幸和珅宅第，一见纪晓岚题字，马上就知道了纪晓岚是在捉弄和珅。他笑着对和珅说：“纪晓岚是在骂你们一家‘个个草包’呢。”结果和珅对纪晓岚恨之入骨，几次进谗言，参奏纪晓岚。
其实，这种事情是根本不可能发生的。我们仅从一件事中就可以看出。乾隆朝晚期，纪晓岚好友、御史曹锡宝欲弹劾和珅，纪晓岚虽为朋友担心，但也仅以宋人《咏蟹》诗相赠：
水清讵免双鳌黑，
秋老难逃一背红。
意思是说，现在弹劾和珅，恐怕时机不够成熟。但曹锡宝没有听从纪晓岚的告诫，毅然上书，指参和珅。结果乾隆大怒，要将曹锡宝治罪，此时的纪晓岚再也不像上次救卢见曾那样，尽心为朋友出力，而是在乾隆面前竭力表白，声称自己毫不知情。结果由于他表现得过于露骨，反而使乾隆认为纪晓岚正是幕后指使者。可见，纪晓岚是不会把自己树立成和珅的对立面的。
有史料记载，和珅在他发达之后，曾与文学名流诗文唱和。有时他私下请纪晓岚、彭元端为其作品润色。而纪、彭二人考虑到和珅权大势重，万一不从，被他穿了小鞋可受不起，也就每每代为捉刀。当然，也就仅仅润色文字而已，纪晓岚并不是要依附和珅去谋求高位。据朝鲜使臣徐有闻所见，和珅专权数十年，内外诸臣无不投靠，只有刘墉、纪晓岚、朱珪等人始终不依附。看来，在当时险恶的政治环境下，纪晓岚所能够做到的也就是尽力不与和珅同流合污而已。
在民间传说中，纪晓岚的形象风流倜傥，一表人才。实际上，纪晓岚貌不惊人，甚至有点丑陋。据史书上记载，纪晓岚“貌寝短视”。所谓“寝”，就是相貌丑陋；短视，就是近视眼。纪晓岚还有口吃的毛病。看来，善写的人不一定善言啊。
乾隆是一个以貌取人的皇帝，他身边的宠臣大都相貌俊秀，气宇轩昂。比如和珅、王杰、于敏中、董诰、梁国治、福长安等人都是当时的美男子。相貌丑陋的纪晓岚却偏偏又碰上乾隆，所以即便他再才华横溢，也难得到真正的重视，难以参与重大的政治决策，只能以文字安身立命。说白了，有点像汉武帝的词臣东方朔，给皇帝逗逗闷子。之乎者也，吟风弄月，对国家大事能有多大作用？纪晓岚只能做乾隆的词臣，而难以做乾隆的宠臣、重臣。纪晓岚一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，均是这种际遇的体现。当然，文化教育工作也很重要，一个知识分子做到礼部尚书也算到顶了。
乾隆曾派纪晓岚出任都察院，相当于现在的纪委和反贪局，但他判案不力，本应受罚，乾隆却说：“这次派任的纪晓岚，本系无用腐儒，本来只不过是凑个数而已，况且他并不熟悉刑名等事务，又是近视眼……他所犯的过错情有可原。”这倒也好，乾隆不认真跟他计较。
纪晓岚生前曾自撰一幅挽联：“浮沉宦海如鸥鸟，生死书丛似蠹鱼。”这倒是他一生的写照。