1870年，俾斯麦考虑，或许统一德国的时候到了。南德四个大邦，包括最喜欢分庭抗礼的巴伐利亚，都有了统一的要求，他们派了代表团来凡尔赛。然而，对法战事正处在相持阶段。欧洲大国有插手干涉的迹象，尤以英国为甚。
俾斯麦抓住契机，建议召开伦敦会议。会议使英国获得面子，俄国得到实惠，从而排除了列强对普鲁士割让法兰西的干扰。柏林帝国议会压倒多数通过，并宣布德国统一，以便获得大量赔款。
他们派出了30名议员组成的代表团于12月16日抵达凡尔赛宫。两天后的下午，威廉一世在凡尔赛宫行政长官署大厅接见代表团。帝国议会主席，70岁的爱德华·西蒙致词：
“愿陛下愉快地接过德意志的皇冠，以为我们的统一大业做出奉献。”
俾斯麦给威廉一世起草的答词，上面满是空洞搪塞的官腔。但也可算得上一次德意志第二帝国皇帝登基前的公开声明。
新的一年，在炮轰巴黎外围要塞声中，在筹备德皇登基的紧锣密鼓中到来。
威廉一世告诉太子，在第一位普鲁士国王加冕的170周年纪念日那天，即1月18日，正式宣告德意志第二帝国成立。
俾斯麦刚当普鲁士首相时，并无多大名气，而且铁血政策的出笼，还给他带来了小恶名。普奥战后他任北德联邦首相，“铁血宰相”有大名声了；普法战后，帝国宰相、中将、侯爵加身，“铁血宰相”有了赫赫名声，成了欧洲家喻户晓的大伟人。但是，这时他在国内他的地位已有了隐患。
1888年3月9日，威廉一世逝世，其子腓特烈·威廉继位，称为腓特烈三世。但即位99日后，腓特烈三世即病故。其孙威廉二世继位，时年29岁。这位年少气盛的少年皇帝不甘受制于俾斯麦，因此与俾斯麦在很多问题上出现分歧。而当时俾斯麦已达73岁高龄，执政长达26年。结果在一系列权力斗争中，俾斯麦渐明兔死狗烹的道理，感到心灰意冷。于是，在1890年3月18日向威廉二世呈辞，正式下野。
1890年3月20日夜，世界各地都知道了这一头号新闻——德意志帝国铁血宰相辞职。
俾斯麦辞职后还在柏林待了9天。他到威廉一世墓献了3朵玫瑰；拜会了腓特烈三世的遗孀；新首相卡普里维将军就职的那天，他在皇宫做了示威性的亮相。威廉二世特地封俾斯麦为劳恩堡公爵，还将他晋升为陆军元帅衔海军上将。俾斯麦讥讽地说：
“奇怪得很，皇上把出类拔萃的将军任为首相，却把轻车熟路的首相捧出来当个空头元帅、将军。老皇封我侯爵即是王侯殿下，还要公爵锦上添花？外出匿名？”
9天中，慰问电报、信件、名贴、鲜花铺天盖地地向相府涌来。俾斯麦自嘲说，这是一级国葬。客人们也使他应接不暇，小邦君主、政党头头、各国大使川流不息。此中也杂有不少幸灾乐祸看风险者。
3月29日，俾斯麦一家在民众的欢呼簇拥下来到达勒尔特车站。仪仗队和军乐队早恭候在此。列车在《友谊地久天长》的乐曲声中启动，俾斯麦眼前晃动的礼帽、头巾、手帕、飞吻，渐渐远去，它们全都像他的政治生活一样，留在了柏林。俾斯麦下野之后，长居于汉堡附近的弗里德里希斯鲁庄园，并著有回忆录《思考与回忆》。
1898年7月30日，铁血宰相俾斯麦悄然离世，享年83岁。身后之事，俾斯麦预先都有安排。报纸公布了1890年俾斯麦辞呈的全文。辞呈指斥威廉二世妄改外交政策破坏对俄友谊。
俾斯麦去世时，威廉正泛舟夏天的大海上。得知消息他立即从挪威海滨返航基尔，并电告赫伯特移灵柏林举行国葬。8月2日，威廉抵达弗里德里希斯鲁，假模假样地向鲜花和花环丛中的俾斯麦遗体志哀。至于国葬，只好免了。老头早已选好此庄园一片针叶林中的一块空地。威廉碰了一鼻子灰返回柏林。
7月31日，《帝国新闻》报道：皇帝陛下亲临弗里德里希斯鲁，对上帝为实现德国统一和这一不朽的伟大思想而养育的义工——俾斯麦深表哀悼。对威廉二世，俾斯麦是至死不买账的，他的墓碑上刻的字是：“冯·俾斯麦侯爵，威廉一世皇帝的忠实的德国仆人。”
俾斯麦离世后不久，俾斯麦的政敌便迅速清除了他在政界中的势力，改革从此终止，德国迅速走向他生前一直努力控制及防止的****，最终，第一次世界大战爆发。
最令曹玉箫回味无穷的，是关于俾斯麦的趣闻。
有一次，俾斯麦租了一个地方当办公室。他要求房东在房间里装个电铃，但房东以“没有置办装电铃的义务”为理由拒绝了。当时，俾斯麦没说什么。晚上，俾斯麦的房间忽然传来了枪声。房东以为发生了意外，立刻前去查看。只见俾斯麦在慢条斯理地办公，书桌上摆着尚在冒烟的手枪。
房东胆怯地问：“发生了什么？”
俾斯麦淡淡地说：“没什么。我只不过在用枪召令我的部下。”
第二天一大早，俾斯麦的房间就安上了电铃。
俾斯麦反应机敏，口才一流。他初次担任外交官，并出席了日耳曼同盟会议。德国国王任命他当外交官时，对他有点不放心，说：
“你从无外交的经历，竟接此重任，实在很大胆。”
俾斯麦机智地回答：“陛下将此重任托付给我，是陛下的胆量大。至于我能否胜任，过一段时间就知道了。如果我不能胜任，请陛下立刻撤我的职。如今陛下敢下令，我就敢接受命。”
一次，俾斯麦与友人到森林里打猎。友人不慎跌入沼泽。俾斯麦听到求救声跑来，故作严肃地说：
“我若贸然救你，一定连我也陷入沼泽中，所以我决定不救你了。可是我又不能眼睁睁看你受折磨，为了免除你的痛苦，我只好下狠心一枪干掉你。”
话完举枪，友人害怕被杀，拼命挣扎，终于死里逃生。
俾斯麦在许多场合把他的政治上的反对者说成是卡提利纳分子——唯恐天下不乱的密谋策划者。他在预算委员会上说：
“在国内有大批卡提利纳分子，他们最大的兴趣就是唯恐天下不乱。”
还有一次，在1878年俾斯麦针对自由派反对派则说得更为粗暴：
“要按着撞墙，让他们疼得哇哇叫！”
对于不顺耳的言论，他有时斥之为“政治上的井中投毒”；有时又有“报刊——印在纸上的胡扯”等等诸如此类的惊人之言。
俾斯麦还把给他制造麻烦的人称为“爬行动物”。1869年，俾斯麦为了对付他的政敌，建立了一个他称之为与“爬行动物作斗争的”秘密基金，这个秘密基金就被俾斯麦叫做“反爬行动物基金”。
在政治、外交上，俾斯麦是使用秘密基金贿赂、收买相关人员的高手。1870年末，为了使巴伐利亚国王路德维希二世同意普鲁士国王当统一德国的皇帝，俾斯麦从“反爬行动物基金”即秘密基金中给路德维希二世拨出很大一笔钱。
收到钱后，巴伐利亚国王在俾斯麦起草的“劝进书”上签了名：请求威廉二世接受德意志皇帝的头衔。
1896年，进行环球考察的李鸿章乘火车自俄国前往德国，在李鸿章的德国行程中，最让人们感兴趣的，就是拜访俾斯麦。
不过，俾斯麦与李鸿章其实是截然不同的人。梁启超认为李鸿章难以与俾斯麦媲美：
“李鸿章之学问智术胆力，无一能如俾斯麦者，其成就之不能如彼，实优胜劣败之公例然也。虽李之际遇，或不及俾，至其凭借则有过之。人各有所难，非胜其难，则不足为英雄。李自诉其所处之难，而不知俾亦有俾之难，非李所能喻也。使二人易地以居，吾知其成败之数亦若是已耳。故持东李西俾之论者，是重诬二人也。”