能透露徐世昌书生本色的另一件事情是他收集古籍善本，以及对编书很有兴趣，留下了许多文章和书画。尽管遭到批判说他的文章和书画水平有限，图书的编辑质量也较差，但徐大总统乐此不疲。徐世昌还热衷于外国的博士学位。他曾授意李石曾赴法国访学，向法国人盛赞中国总统是饱学之士、文人总统。法国巴黎大学因此想授予徐世昌文学博士学位。但授予一个人博士学位，必须有这个人的著作才行。于是，徐世昌决定写作《欧战后之中国》一书，系统阐述了自己对中国传统文化、政治和一次世界大战后世界局势的看法。徐世昌的写作方法是这样的，他提出思路和框架，然后由熟悉各国情况的总统府恣议黄郛出面，召集学者讨论、写作。因此《欧战后之中国》应该算是一部集体著作，徐世昌可算作这个项目的主持人。该书印了中、英、法三种文字版本，成了徐世昌的博士成果。徐世昌对学位很看重，专门任命朱启钤为“接受学位专使”，带着《欧战后之中国》分访世界各国，赠送友人，最后才到巴黎领受博士学位。但许多人对徐世昌的“博士”不以为然，甚至嗤之以鼻。
当时北京大学教授辜鸿铭就是个骂人高手。曾经有外国记者在一次盛大的宴会上问他：“怎么稳定中国政局？”辜鸿铭回答：“办法很简单，把现在座中的这些政客和官僚，统统拉出去枪毙掉，中国的政局就会安定些。”辜鸿铭骂人骂出了名，结果反而没有人敢迫害他了。如今出了徐世昌获得法国博士的新闻，辜鸿铭见到法国公使、名流就挖苦：“我一向瞧得起你们美丽的法兰西，如今居然给徐世昌发了博士学位！”说的次数多了，法国人也很尴尬。更要命的是，黄郛出国游历后，公开宣扬《欧战后之中国》是自己的著作，后来又写了包括前书内容的《欧战后之新世界》一书。如此，徐世昌为一个博士学位败坏了在学术圈和文坛的名声。
三
最后，徐世昌的下台也很不光彩。
徐世昌希望新直系和奉系能念及当年提拔之情（他对曹锟、张作霖都有恩），听从自己指挥。所以他在皖系下台后，周旋在曹锟的新直系和张作霖的奉系之间，暗中沟通，希望维持住两派均势。在直皖战争中，张作霖响应曹锟。皖系失败后，直系和奉系同时进入北京。但新直系的灵魂人物吴佩孚却不承认徐世昌是合法总统，见面时只是拱手为礼，称呼徐世昌为“菊人先生”。而且吴佩孚对和日本关系暧昧的张作霖也很不满；张作霖则对关内有野心，对独大的吴佩孚也很忌恨。徐世昌和曹锟从中调停，于事无补。不久，第一次直奉战争爆发。徐世昌希望奉系能够获胜，不想张作霖战败，被赶回关外。张作霖对居中调停的徐世昌非常不满，失败后将新直系和徐世昌一块骂得淋漓尽致。
实际上，直奉战争胜利、直系独霸北京后，吴佩孚就谋划着驱赶徐世昌下台了。他的利器是恢复民国元年旧国会，通过否认第二届国会的合法性来否认徐世昌的总统地位。
徐世昌表现出了极重的恋栈心理。为了保住总统地位，他派人拉拢老议员，又设法阻止旧国会集会。这反而让曹吴二人下决心加快赶走徐世昌。随即，徐世昌任命的江苏督军齐燮元通电请他下台，吴佩孚马上率直系诸将领公布徐世昌“祸国殃民，障碍统一，不忠共和，黩货营私”的罪状，最后由徐世昌亲信、卫戍总司令王怀庆亲自到总统府传达曹吴的决定，要徐世昌自动下台。徐世昌看着王怀庆47，也体验到了当年袁世凯众叛亲离的滋味，知道局势不可挽回，不得不自动辞职了。
当时情势紧急且不明朗，徐世章和吴笈荪等人力劝他到东交民巷外国使馆暂避。徐世昌坚决拒绝：“我是中国总统，关系国家尊严，恕难从命！”1921年6月1日，徐世昌从总统府退回东四五条私宅。第二日，他宴请了顾维钧、周自齐、颜惠庆、董康、高恩洪、罗文干等政府成员，举杯凄然道：“现在第一届国会拥戴黎黄陂复位，鄙人正好可以籍此退休，颐养天年。今日一别，鄙人即与国事直接脱离关系，望诸君各自努力！”当天下午，徐世昌仓促离京赴津。根据徐世昌的侄子徐玉琢回忆，徐世昌被赶下台的景况相当凄惨，“他在深夜坐汽车逃出北京时，经过了四道盘查，始脱险境。载徐出险的那部用手摇发动的旧式汽车，后来一直陈放在家里，作为‘纪念’；救他脱险的那位汽车司机，也一直被徐当作‘恩人’供养。”
津门寓公：徐世昌的晚景与晚节
一
下野后，徐世昌在天津英租界做了17年的寓公。
他在住宅中专门辟出一间取名“退耕堂”，自号“退耕老人”或“退叟”，又造了间“半日读书半日静坐斋”，表示退隐不问世事。晚年的徐世昌还真的“耕读”了起来。天津徐宅占地 10亩左右，面积大、空地多。他命佣人开畦种菜，有时亲自锄草。因为喜欢菊花、葡萄，徐世昌种了各种葡萄和菊花。在读书方面，翰林出身的徐世昌组织了“晚清簃诗社”，编撰《晚晴簃诗汇》，试图对清诗进行总结，同时还组织人员编辑出版了《清儒学案》、《退耕堂政略》等多种书籍，并且资助河南方面整理出版中州文献。虽然当时就有人批评徐世昌出版的图书遴选、编校质量较差，但徐世昌晚年多少还是对文化事业做出了一定的贡献。
息影津门后，徐世昌厌倦国事，从不看报，也不许家人谈论国事。他在北洋系统中没有自己的派系，更谈不上有嫡系党羽，所以归隐后前来拜谒、探望、投靠的人很少。和徐世昌有联系的比较重要的政治人物也就是同住在天津的袁世凯的长子袁克定。袁克定按辈分要称徐世昌为伯伯，当年因为徐世昌消极抵制帝制，袁克定还骂过徐世昌。如今物是人非，不知袁克定来徐宅拜访时是什么样的心情。
和晚年徐世昌交往最密切的就是被徐家人称为“李四爷”的李鸿章的四子李经羲。徐玉琢回忆：“他们两人的感情最好。每当李四爷来访，徐就把客厅门关起，两个人在屋子里有说有笑，也不知谈些什么。有一次，我曾偷偷地从门缝中向里窥视，只见我伯父正在客厅中且舞且唱，颇觉惊奇。他平时是一个不苟言笑的人，在子弟面前都是一本正经，而和他的挚友李四爷却毫无拘束，无话不谈。”
徐世昌晚年耕读生活看似过得很自在，但徐家的家庭氛围是压抑的、封建家长式的。徐世昌的封建家庭伦理观念很重，年纪大了以后更是严守封建家庭伦理。全家八十多口人，虽然分居，但都必须听命于他这个大伯。徐世昌处处以严格的封建礼教约束子弟，上下尊卑一丝一毫也不许马虎，即使是弟弟来见他也必须垂手侍立，不敢稍坐。当时全家辈分最长的是徐世昌八十多岁的婶母。徐世昌每日清晨必到这位婶母跟前请安，毕恭毕敬，以此给子侄做表率。徐家的清规戒律很多，比如绝对禁止家人听戏、看电影，如有违犯就要到祖宗祭堂罚跪；又比如严禁赌博，只在春节开禁三天。所谓“开禁”也只是由徐世昌拿出300元带头赌牌九，输完了事。但根据徐玉琢回忆“所有的封建大家庭都一样，表面上识书知礼，骨子里却是各有一套，只不过瞒着徐世昌一人而已”。在北京读书的徐家子弟还参加了五四学生运动。徐世昌知道后把参加者关了起来，从此不许子弟进入“洋学堂”，专门请了一位塾师在家中教课。
晚年的徐世昌保持着刻板、极有规律的作息，早晨四点起床，洗漱后写字作画，早餐后散步读书，用餐很简单但时间很长，总要两个小时才离开饭桌。晚饭后，他登楼向吕祖烧香，然后饮普洱茶，听读报，九时就寝。每天如此，长年累月不变。同时，平淡的寓公生活也有一些惊喜。比如徐世昌的八十大寿当天，曹锟、颜惠庆等名人都亲来祝寿，徐家宾客云集。北京到天津的火车还加开了临时列车。徐世昌很高兴，赠送宾客每人手书对联一副。那时，人们才重新记起徐世昌这个前总统来。
二
“九·一八事变”彻底打破了徐世昌晚年生活的平静。已经不问政事的徐世昌重新关注起时局来。每晚就寝前，徐世昌都要侄女读报给他听。“七·七事变”后，华北局势渐趋紧张。日本方面发现了徐世昌的价值，企图拉拢徐世昌出面做“华北的领袖”，组织亲日政权。
一天，老部下曹汝霖来访。谈及时局，曹汝霖发表高论：“南京政府英美派当权，压制日本在华势力，使日本在中国的权利受到损失，日本被迫无奈才出兵与中国打仗。总统（指徐世昌）此时如能出山，与日本订立亲善条约，日本即可撤兵。”徐世昌明白曹汝霖是来给日本人当说客拉自己下水做汉奸的，断然拒绝道：“老朽年过八十，体弱多病，早就不过问政事，对此没有兴趣，你们另请高明吧。”曹汝霖怏怏告辞，他前脚刚走徐世昌马上吩咐门房：“以后曹汝霖如果再来，就说我不在家。”
老部下不行，日本人就发动徐世昌的门生来做说客。大汉奸王克敏以“师生之谊”来拜会徐世昌，请徐世昌出面组织政权。徐世昌闭门不见，并向人表示“我没有这样的门生”。日本人又请出徐世昌的得意门生、在伪满洲国任职的金梁，南下天津来做说客。金梁在清朝灭亡后长期追随溥仪，是复辟势力的代表人物，这次除了有门生的招牌外，还抬出了已经在东北“称帝”的溥仪来压徐世昌。社会上都知道徐世昌对前清和宣统皇帝有很深的感情，不忘清室的“天恩”。金梁就请徐世昌“暂时”出面维持华北秩序，迎接溥仪返回北京“正位”。徐世昌出人意料地当即拒绝。金梁又请徐世昌考虑“晚节”，希望他识时务。徐世昌勃然大怒，痛斥金梁根本不配谈气节，说完拂袖上楼而去。
至此，日本人还不死心，伪天津市市长潘毓桂、日本师团长坂垣和特务机关长土肥原等纷纷劝说徐世昌出面组织政权，徐世昌都闭门不见。敌伪又希望从徐世昌侄子徐一达处打开缺口。徐世昌就鼓励子侄远离天津，摆脱敌伪纠缠。他自己从此装病谢客。
1938年冬天，徐世昌患上膀胱瘤。同年，老友李经羲死于天津。李经羲的死对徐世昌打击很大，从此若有所失、郁郁寡欢。医生建议徐世昌离开租界，住院接受治疗。徐世昌害怕离开租界后被日本人控制，拒绝离开租界的住宅。1939年6月5日，徐世昌病死，终年85岁。他临终遗嘱，不发讣告，归葬河南辉县，坟墓从简。
徐世昌终生无子，两个女儿早夭。
民国著名记者陶菊隐评价徐世昌：“独徐世昌者，侥幸入词苑，学问非所长，终身未绾军符，戎事更非所习，谈笑从容，取功名如拾芥，仕清室忝握机枢，佐民国俨居元首……”对徐世昌的能力评价很低。的确，徐世昌除在晚清曾短暂推动过新政外，一生政治罕有建树；除在政府派系纷争中多次居中调停外，也没有显露出过人的政治才干。相反，徐世昌的政治品德并不高尚，以前清遗老自居，又在袁世凯称帝、张勋复辟、暗箱操作选举等问题上不明不白，算不上是正面的政治人物。然而，徐世昌承袭了中国传统知识分子的气节，所以在死后的6月8日，国民政府下令褒扬：“徐世昌，国之耆宿，望重群伦……寇临华北，屡思威胁利诱，逞劂阴谋，独能不屈不挠，凛然自守，亮风高节，有识同钦……”“民族气节”四个字他还是配得上的。