俾斯麦召集内阁会议，宣布自己决定辞职，而他辞职的唯一理由是皇帝想独揽大权。让俾斯麦没想到的是，竟没有一位阁员提议与俾斯麦同进退。至此，他才发觉自己被孤立了，担任首相二十八年居然没有一个真正的朋友！
开完会，他吩咐备马，在柏林待了一阵子。当回到家时，他发现书记官正在等他。
书记官焦急地说：“陛下要我来问你辞职一事。”
俾斯麦回答说：“陛下随时都可以把我免职。如果免职的命令下来，我立刻签署同意书，但是皇帝必须对此举负责。我当了二十八年的首相，对祖国和欧洲多少有些影响，因此我需要一些时间来让天下人知道此事的真相，然后我会自动去谒见皇上的。”
当晚，俾斯麦写好了辞职书。第二天，新皇帝便接到长达六页的辞职书。皇帝看完之后，在空白处写了两个字：“批准。”
但是，皇帝始终没有把俾斯麦的辞职书公之于世，而以皇帝亲拟的俾斯麦引退理由书来代替，公开发表，至于引退的理由则是健康不佳。
对于俾斯麦多年的操劳，皇帝将他封为大公爵及陆军少将，同时还赐予他一笔可观的金钱，但是俾斯麦全都辞拒了。
大公爵的封号，在他有生之年一直没有使用过，他只是接受了辞职令。不过他同意了皇帝的要求，把长子哈佛继续留任外交部长，因为他希望让自己的儿子来完成他未完成的大业——德、俄密约。
令人遗憾的是，俾斯麦最后的希望也遭到奸人荷鲁斯坦的从中作梗，以致他的儿子哈佛最终无法完成任务。因为荷鲁斯坦认为一旦签署了德、俄密约，俾斯麦便可能东山再起，而俾斯麦的再起无异于自己的垮台。所以为了自己的利益，他多方阻挠这个重要密约的进行。
俾斯麦准备离开柏林的日子终于到来。他进宫拜别新皇帝和参拜了威廉老皇帝的陵墓后，便离开了长年居住的官邸。在他返回位于喀尔斯鲁山庄的路上，当这位白发的老人坐在车上，离开官邸时，民众一起脱帽致意并流下了眼泪。这位老英雄虽然被傲慢的新皇帝所抛弃，但是一般民众还是对他念念不忘的。
退休的老首相在他那喀尔斯鲁规模宏大的山庄里，孤独寂寞地住着，没有人敢来拜访他，原因是大家都畏惧威廉二世皇帝。如果有人拜访俾斯麦，他们的名字马上就会被报告到宫廷内。
德国的报纸也不敢刊登有关他的新闻，因为害怕政府检查，只有汉堡公报例外，此外，偶尔会有外国记者访问他。皇帝下令，寄给俾斯麦的信件必须经过严格检查，因此除了家人和两三位老朋友外，他几乎与外界完全隔绝。
有一次，美国的铁路专家来访，俾斯麦坐在这位初次见面的外国人身旁，毫不掩饰地说：“你是几个星期以来，我的第一位客人，大家都因害怕皇帝而不敢前来。那些几个月前在柏林街头碰面必定会对我行礼的人，他们今天就是到了镇上也不敢来看我，大家都在排斥我。”
那些曾经受他照顾的高官、贵族及皇族等都转而迫害他。其中，接任其职的新首相写信给俾斯麦，要他退回多领的薪水。
信中说：“阁下已于3月19日辞职。翌日起，便要按照退休年金计算，所以20日到31日的月薪是属于多领，请将它退回，以便结算。”
这位新首相同时通过驻外的公使向各国政府通告：今后，俾斯麦公爵的言论，完全与敝国无关，请贵政府不要重视。
他究竟在山庄里过着什么样的日子呢？他所能做的只剩下编写他的回忆录了。他把自己八十年来的生活，详细地口述，让秘书一一记录下来。俾斯麦曾经往来于千军万马之中与敌军战斗，也曾经和访客交谈，并且日理万机。那时，虽然忙碌但还能写出洗练的文章。如今，失去了访客、公务及敌军等一切刺激，他的内心顿感空虚，而他灵敏的头脑也不及昔日活跃了。因此，他那三卷回忆录的文体并不及他全盛时代的演说和书信般才气纵横。
被夺去了一切权力的俾斯麦，现在所剩下的只有家庭和森林了。自从爱犬死后，他不再养狗。他的长兄在他下台后不久便死去了，子女们又都不在他的身边，现在在他身边的只有妻子一人。他害怕和妻子离别，曾对友人说：“我不想比我太太早一步归天，我不愿留下妻子一人。”
1894年后，他的妻子身体日益衰弱，他遵照她的愿望，从喀尔斯鲁迁居到华尔翠。当年秋天，她度过了七十岁生日。有一天早上，当俾斯麦走进她的房间时，发现前一天晚上还在饭厅一起与他用餐的妻子已经与世长辞了。他抱着妻子如同十来岁少年般地坐在地板上放声痛哭。
翌日早晨，他从书架上拿下一册德国历史，对自己说：“希望这本书能使我的心情好转。”然而一起生活四十八年之久的妻子的去世，带给他很大的打击，他一时还无法恢复心中的平静。
1896年，俄国和德国的条约期满后，俄国转而和法国接近，这使得欧洲各国大为恐慌，而德国报纸也指责这是由于俾斯麦的失策造成的。这使俾斯麦很生气，于是将自己辞职前后的事情，公开发表在报纸上。这对于德国皇帝来说是一个很大的打击，而这一次也是俾斯麦的最后一次公开活动。
第二年，俾斯麦便因神经痛而双脚行动不便，一直坐在轮椅上。不过他的脑力一点都没有衰退。如今来回顾一下他当时所作的预言，会发现一切都如他所料，他说：“俄国成为共和国的日子比世人想象的还要快，一旦劳资之间发生纠纷，最后一定是劳工胜利。任何国家如果给予劳工投票权，一定会发生这种结果的。”
此外，他还曾预测德国的未来，他说：
“神可能会再次给予德国一次衰颓期，之后再给予它新的光荣期。但是可能要在它改变为共和制度以后才能出现。”
1898年7月30日晚11点，俾斯麦在喀尔斯鲁山庄与世长辞，走完了他八十三年的人生旅程。临终时，他对守候在枕边的女儿说：“谢谢你！我的女儿！”
遵照他的遗嘱，他的遗体和爱妻一起埋在喀尔斯鲁山庄的丘陵上。虽然皇帝赐给他国葬的恩典，但是他的长子哈佛以父亲的遗嘱为由婉拒了。
墓碑上写着：
俾斯麦公爵，长眠于此
1815年4月1日生
1898年7月30日死
威廉一世皇帝的忠臣