青岛本是满清皇室贵族从事帝制复辟的重要基地。清王朝被推翻后，皇室贵族在德国帝国主义的帮助下，有计划有目的地逃亡青岛。现存资料记载说，寓居青岛且与恭亲王溥伟有密切联系的满清贵族、前清遗老就有：吴郁生（前军机大臣）、张人骏、吕海寰（兵部尚书）、刘廷琛（北京大学堂监督）、赵尔巽（东三省总督）等人。张人骏很快和一些相同命运的同道成了朋友，聚会、喝酒，听听音乐，谈谈文化，偶尔对往事回忆一下，大清国的一切就在这些人之间蔓延开来。在这个时候，只有张人骏不说一句话。如果有人在这个时候问他如何不说话，他起身就走。至于什么原因，没有人知道。
当时在青岛的德国传教士卫礼贤写过一本关于这些遗老的文章，在介绍张人骏时，他白描这个落魄的前两江总督时，用了这样的句子：“形容消瘦，留着长长的指甲”。在这篇文章里，我们看到了一个很可爱的老头。卫礼贤记载说，张人骏在和别人划拳的时候，总是装出一副张开手指的样子，然后来个狡猾的停顿，就像蜗牛从壳里探出身子。通常是在对手出完之后，他才报出自己所出的拳。
在我们今天看来，这个“形容消瘦，留着长长的指甲”的老头不但不狡诈，反而非常可爱。跟他划拳的人慢慢的都知道了他这个“无赖”手法，总是突然就揪住他，或者在划之前讲好规矩，这个时候，张人骏坚决不玩。但没有他参与的游戏，少了许多热闹。大家只好让他耍赖。
他这样做，也是可以理解的。卫礼贤说，张人骏的酒量极浅，一旦受了酒精的影响，总是变得酷爱争吵甚至尖刻恶毒。有一次，传教士讲了一个中国庸医的故事，当尴尬的故事结果一出来，平时也行医的张人骏已勃然大怒了。这个细节后来成了后人记忆张人骏青岛行状的一个经典场面。
即使不喝酒，张人骏也经常会暴怒，据卫礼贤分析说，这很可能跟他那次坐着箩筐跑下南京城有关。看来，张人骏始终不能对自己的逃跑简历释怀。
许多在青岛的遗老们都认为他是一个古怪的老头，每每谈论一件事很开心，当大家都在笑着准备继续往下说时，张人骏就突然绷起脸，然后一句话不说，独自走掉了。
如果我们记忆犹新，就会发现，张人骏当初任山东巡抚的那一年是1901年，而到青岛的这一年是1911年。从山东巡抚到两江总督，再回到山东境内的德国保护地，他正好花费了10年时间。但是，10年后无奈移居青岛的窘迫，却是他当年从袁世凯手中接过山东巡抚职位时所不曾想到的。
由于他是个清官，在青岛的岁月，他并不开心，在精神上毋庸质疑，在物质上更是雪上加霜。庆幸的是，遗老们很多，都仿佛是从另外一个世界过来的同伴，张人骏得到每个人的救济颇多，使得他在青岛的岁月还不至于达到落魄境地。但他活得很憋屈。
因为似乎在他眼里，没有一个遗老可以在忠贞上与自己相比，虽然许多遗老们都在计划复辟，开始复辟。但在他看来，大清无论归来与否，都会存在他的心中。
但是，正是这样的思想使他痛苦非常。他当年逃跑了，是个逃将，他对不起大清。这是他一生都没有扭转过来的思想。
如果没有一件足以把他的灵魂震撼的事情发生，他可能会永远活在痛苦中。1914年，让他没有时间忏悔逃跑的事情发生了，第一次世界大战爆发，日本乘德国无力东顾之机侵占青岛，张人骏对日本人没有好印象，只好携眷属跑到天津寓居。
与日本人的恩怨
确切地说，张人骏是与日本人有仇的。日本人自然也不会忘记这个大清官员，如果不是他，他们早已经得到了东沙群岛了。
1895年日本通过《马关条约》强占了台湾，野心勃勃之下，日本人又把目光瞄向了东沙群岛。此处因经济、交通和军事的重要性，使得日本人恨不得立即就把它拿下。1901年夏天，一个日本商人叫西泽吉次的在南海遇风，苍天无眼，他居然没有死掉，反而被海水冲到了东沙群岛的东沙岛，此人见这里鸟粪资源丰富，就取样回台湾化验，结果令西泽欣喜若狂，认为大大地有利可图。
1902年，这个日本商人窜到东沙岛窃取鸟粪，弄回台湾出售。事实上，国家领土不可侵犯当然也包括鸟屎，此时，张人骏正担任两广总督，他注意到了总跑到岛上拾鸟屎的日本人，不久，他就派出广东水师提督李准前往勘察，在东沙岛树碑宣示主权，又命海院总办刘冠雄，在东沙岛设立旗台，派水师驻守。
但西泽吉次已经被鸟屎蒙住了双眼，在1906年和1907年，他又两次进入东沙岛，窃取鸟粪资源。1907年这一年，他纠集了120人，乘“四国丸”来到东沙岛，驱赶我渔民，拆毁我庙宇，并把中国人坟塚百余座掘开，取骸骨焚化后推入水中。这个丧尽天良的人又在岛上建起码头和小铁路，悬挂日本国旗，竖牌声称占据“无主地”，并把东沙岛擅自改名为“西泽岛”，东沙礁改名为“西泽礁”，企图长期霸占。
张人骏如果服软，那他就不是张人骏。他对日本人的这种侵略行经切齿非常，在1908年初，他两次派出“飞鹰号”兵舰前往东沙群岛调查，了解日本窃据东沙岛的来龙去脉。当他得知鸟屎有着很好的经济价值后，立即向日本驻广东领事赖川浅之进交涉。
赖川可以称为无赖，在他开来，事已至此，就不必难过，张人骏当然不能认可他的安慰。赖川就说，谁知道你岛上有没有神庙呢，谁知道岛上有没有坟墓呢，这本是无可对证的事。张人骏对这无赖嘴脸无计可施，就从主权问题入手，指出西泽吉次是违反法律的。
赖川对中国文化倒有些了解，说，你们中国志书多详陆地之事，于海中岛屿常常疏略，所以，我认为，东沙岛是“无主荒岛”，“倘中国认为该岛为辖境，须有地方书志，及该岛应归何官何营管辖确据”。
张人骏立即就给他列出证据：一、据当时水师提督萨镇冰所派“飞鹰号”兵船管带黄钟英报告，岛上旧有中国渔民所建大王庙等，被日人西泽吉次毁去，但基石虽被挪移，庙宇原地尚可指出。二、据渔商粱应元禀称：“光绪三十二年（1906），忽有日人多人到岛，将大王庙一间拆毁。查该庙系该处渔民公立之所，坐西北，向东南，庙后有椰子树三株。现在日人公然在此开挖一池，专养玳瑁。前时该庙之旁，屯有粮食伙食等物，以备船只到此之所需，今已荡然无存。”三、张人骏等详查历史文献发现，王之春著《国朝柔远记》、英国海军海图官局编《中国江海险要图志》，以及中国和英国出版的一些地图，都记载东沙群岛属广东管辖，并非什么“无主地”。
赖川仍旧不肯承认，但心上已经承认了。1909年3月19日，张人骏郑重声明东沙岛是广东属地，要求日领事谕令日商即行撤离。赖川浅之进在证据面前哑口无言，只好承认赔偿中国渔民损失，向清政府补纳税款，将东沙岛归还中国。
张人骏趁热打铁，派出水师提督李准和副将吴敬荣、刘义宽等，率兵170人分乘“伏波”、“深航”诸舰，勘明东西沙岛屿，并于永兴岛升旗鸣炮，公告中外，重申南海诸岛为中国领土。
这是一份祖国领土神圣不可侵犯的赞歌！
这可能是张人骏唯一一首让后人称赞的事情，民国后，张人骏和许多遗老一样，默默无闻，终老一生。
1914年，当他退居天津后，无所事事，已经找不到人划拳了，就开始以诗文书法娱老。张人骏在天津的居所在今天的湖北路1号。由于张人骏为官相对清廉，因此生活很潦倒。其天津旧居外表高墙阔大，内院其实很是逼仄。
1927年正月初七，“家无余财”的他在天津逝世，终年81岁。他死后，逊帝溥仪亲自到张宅吊唁，并谥名“文贞”，与李鸿章的谥号“文忠”相映成辉，反映了清廷对这位三朝老臣的盖棺论定。更是让人觉得，大清是真的完了，连这样的逃将都以“贞”字作为赞语。
张人骏是爱国的，从他保卫东沙群岛就能得到证明，他更是爱大清的，因为在民国，一旦听到对大清不利的消息，他就泪水横流。但他在南京城，本可以用自杀来完成他的忠臣之名，可并没有去做。
这遂成了他一生不能释怀的事，后来溥仪谥他名“文贞”，算是原谅他了，可他自己不能原谅自己。