清顺治十年（1653），本来互相之间有些过节的江南同声、慎交两社在吴伟业等人的调停下终于握手言和，双方商定在三月三日、四日在虎丘聚会。这天的虎丘数千名江南士子云集于此，其场面之壮观可以和当年张溥主持的复社大会向媲美。在聚会上，两社先推选各自代表人物盟誓于山塘寺关帝庙前，约定“彼此不相侵衅”，继而共推吴伟业为宗主。这段时间吴伟业的声名可谓是蒸蒸日上，俨然已成江南的士林领袖。这年三月十九日，吴伟业又以主祭人的身份参与了太仓遗民祭奠崇祯皇帝殉国十周年的祭祀活动，这天几乎全太仓的读书人都来参加了。所谓树大招风，江南数千士子齐集虎丘，共推吴伟业为宗主，继而又公开祭祀崇祯皇帝，这不可能不引起朝廷的注意，就在这时礼部侍郎孙承泽又向顺治皇帝推荐了吴伟业，说其“学问源深，器宇凝宏，东南人才，无出其右……”此时春风得意的吴伟业哪里知道自己将要面临人生中最大的一次考验。
果然，继孙承泽之后，清廷弘文院三位原本水火难容的大学士陈名夏、陈之遴和冯铨共同向朝廷举荐吴伟业，这就不能不引起朝野乃至顺治皇帝的注目了。朝廷要征召吴伟业的消息不断传来，这时的两江总督马国柱也坐不住了，因为人就在他的地盘上，于是他也立即向朝廷上书一封，举荐吴伟业。就这样，江南士子的目光都聚集到了吴伟业的身上，大家议论纷纷，莫衷一是。
那些已经仕清或者准备仕清的人自然都希望吴伟业能够接受朝廷的征召，这样他们就有了一棵可以依靠的大树，减少舆论对自己的谴责；而那些不愿与清廷合作的有气节的士大夫，则担心他们心目中的领袖顶不住各方的压力而屈节仕清，这样他们就失去了一个核心人物。他的朋友侯方域也特意写信给他，说他在旧明已经是科举第一、官居詹事、成为江南士林领袖，即使出山仕清也很难突破原来的成绩。而且现在吴伟业是江南士林中硕果仅存的人物，如果他能完节而终，必将受到“万人瞻仰”，而且他的进退关系到所有江南士子和反清复明人士的信心和斗志。侯方域信中的这些话句句属实，言词也十分恳切，这让吴伟业十分感动，也备受鼓舞，有江南士林在自己背后支持自己，他仿佛有了底气，于是他在回复侯方域的信时明确表示：“必不负良友！”
接下来的一段时间里，又有很多朋友登门拜访，有劝他珍重晚节、谨慎从事的，也有劝他识时务、出仕清朝的，但此时他的意志还是颇为坚决的，“行年五十功名晚，何似空山长负薪”，吴伟业在诗中说功名只是黄粱一梦而已，浮生如梦，转眼成空，他自己早就无意于此了。既然主意已定，他便开始想给如何谢绝来自方方面面的推荐。
要谢绝当权者的“橄榄枝”可不是那么容易的，因为你一旦不接这根“橄榄枝”，当权者就有理由去怀疑你与新政权敌对，到时候只能落得个掉脑袋的下场，明初的高启就是一个典型的例子。这时吴伟业想到了李密的《陈情表》，《陈情表》的妙处就是在于让当权者局的不是自己不愿意效命，而实在是情非得已。于是，他先给举荐他的两江总督马国柱上了一封《辞荐揭》，一封觉得不够，接着又上了一封《上马制府书》，接连向马国柱表明自己的“苦衷”。随后他又带着两首《投赠督府马公》特意从太仓赶到南京，想当面恳请马国柱向朝廷奏明自己的身体和家庭情况，请朝廷收回征召。
但此时的马国柱哪顾得上吴伟业的什么“苦衷”，他只想着赶紧把吴伟业劝走好向上面交差，所以没等吴伟业开口，马国柱就先驳回了他的请求。吴伟业只得带着沉重的心情离开南京，一路上他都在想是当年误入官场毁了自己的一生，而他现在唯一想做的就是像历史上的陆龟蒙、陶弘景那样挂冠归隐家乡。
从南京回来不久，朝廷征召的正式诏书就下来了，从此以后，官府每天都会派人来催吴伟业动身赴京，他也只能以有病在身为由不断拖延时间。但这些官员们总归是不耐烦的，他们便用这种手段逼吴伟业启程。由于吴伟业曾经在永历朝廷中任过官，后来归隐后仍然和许多抗清志士来往，而他的好友当中也有许多是直接从事抗清斗争的，因此这些案子中难免就会牵涉到吴伟业，江阴黄毓琪一案当时就牵连甚广，就连已经在清朝做官了的钱谦益也被牵连了进来，被朝廷审查。地方官员正是利用这些旧案威胁、恐吓吴伟业，想逼其早日就范。
面对着各种压力和威胁，吴伟业的家人渐渐支撑不住了。这才有了本章开头的那一席谈话。看到已届风烛之年的父母每日长吁短叹，过着提心吊胆的日子，被愁云惨雾笼罩着的家庭再也没有了往日的欢声笑语，吴伟业的心也在痛，而父母的那些话也字字撞击在他的心上，让他喘不过气来。是的，他慢慢觉得不可以就为了自己一人的名节而不顾全家老小的性命，他们是无辜的。
就这样，誓死不仕清朝的决心动摇了，为了父母家人，他最终决定奉诏进京。这个时候他还在安慰自己：到了京城后还可以通过陈名夏、陈之遴等老朋友向皇上说情，放自己回乡。不能不说他的想法很幼稚，也不能不说他的性格很懦弱。其实吴伟业能从一个士林领袖走到最后的失节“贰臣”，懦弱的性格正是一切的根源所在。他和卞赛赛的爱情悲剧也是因为他的个人性格一手造成的。
清顺治十年（1653）九月，吴伟业终于踏上了赴京之路。有的时候世事的变化就是令人捉摸不透，几个月前吴伟业还作为江南士林的盟主，与江南士子聚会赋诗，而几个月后这位盟主却要应召赴京，做个异国臣子、“失节贰臣”。个中滋味，恐怕也只有当事人自己才能体味吧。
吴伟业一到北京，面临的仍然是无休止的党争，不久，陈名夏被绞死，陈之遴也被削职，吴伟业在京师的两个靠山都没了，这一切吴伟业再也熟悉不过了，仿佛就是崇祯朝、弘光朝的重演。没有了靠山，也就没人替自己说话，这个官暂时还是得做下去了，而不是像他之前想得那样，一来之后便跟顺治帝奏明情况，请求白衣还乡。
颇有意思的是顺治帝似乎对吴伟业还是眷顾有加的。顺治十三年（1656）正月，吴伟业被命为《孝经衍义》编纂官，不日就被召入南苑，顺治帝向其请教《孝经》；二月又被升为国子监祭酒。清朝的国子监祭酒一职一般都是由博识多闻、修养深厚的耆儒担任，是国家最高学府的最高长官，由此足见顺治对吴伟业的“黄恩浩荡”。就在这年十月份，其伯母张氏亡故，而这正给了吴伟业离京回家的绝佳机会。
挂冠而去，含恨而终
其实按照清朝的规定，伯母去世官员是不能离职奔丧的。但由于吴伟业从小体弱多病，母亲朱氏身边还有几个姐姐，所以他的伯母张氏就将吴伟业抱了回去抚养，对其关怀无异于自己亲生，因此也可以说张氏对吴伟业有着抚养之恩。出于以上考虑，加上张氏死后无嗣，吴伟业就上书顺治请求将自己过继给张氏为嗣子，接着别告假丁丧。一向标榜孝义的顺治帝当然不会驳回吴伟业的请求，于是批准了吴的奏请，还钦赐药丸给他以示关怀。
获得顺治帝的批准后，吴伟业就迫不及待地离京难返了，他想早一点离开这个令他窒息的地方，回到太仓家中。就这样，吴伟业结束了两载仕清的耻辱生活。
回到家中的吴伟业从此不复出仕，但无奈仕清的这两年，却让他悔恨终身。在他后半生的诗歌当中，这种无尽的悔恨无处不在：“误尽平生是一官，弃家容易变名难。松筠敢厌风霜苦，鱼鸟犹思天地宽。”（《自叹》）“浮生所欠止一死，尘世无由识九还。我本淮王旧鸡犬，不随仙去落人间。”（《过淮阴有感》）这些既是其灵魂深处的呐喊，又是他充满无助地呼告。
晚年的吴伟业主要是潜心著述，《春秋地理志》、《春秋氏族志》都是其这一时期的作品，另外他倾注半生心血的《梅村集》也付刊发行。
康熙十年，吴伟业在太仓家中病逝，他自己留下的遗言总结了自己苦难的一生：
“吾一生际遇，万事忧危。无一刻不历艰难，无一刻不尝辛苦。实为天下第一大苦人。吾死后，敛以僧袍，葬我于邓尉，灵岩相近，墓前立一圆石，题曰诗人吴梅村之墓，勿作祠堂，勿乞铭于人。”
一代诗人，终于在死后实践了自己与好友王翰的出家之约。