善有善报，恶有恶报。李义府如此恣肆妄为，祸国殃民，终究会有败露之日。
也巧，有一术士杜元纪，望见李义府宅第有狱气，便说：“需要打发积钱二千万，才可以餍胜。”何谓餍胜？迷信指以诅咒镇压、制服他人或邪恶。按迷信讲，李义府需要散财行善，以德赎罪，才能免去地狱之灾。然而，对此深信不疑的李义府却财迷心窍，不想舍弃以往巧取豪夺的不义之财，而是更加急切地收敛钱财，想夺用他人资财以赎己之罪孽，这岂不是罪上加罪？！
在李义府居母丧期间，高宗允许他初一和十五可以告假守丧。然而，李义府打着守丧的幌子告假后，并非尽守丧礼，而是换上普通百姓服装与杜元纪悄悄地来到城郊野外，登上古望。尽管他们的行踪诡秘，还是被人发觉了。人们疑窦顿生：他们可能是在窥觇星象气色，图谋不轨吧？同时，他派其子李津找到长孙无忌的孙子长孙延，对长孙延说：“我可以为你谋得一官。”五日后，果然授予长孙延为司津监，并向其索谢钱70万。李义府的鬻官之举，已达到了登峰造极的地步。
面对李义府肆无忌惮地聚敛搜刮，而且还居心叵测地图谋不轨，朝野已忍无可忍。右金吾仓曹参军杨行频向高宗上表，参奏了李义府的种种罪状。高宗命司刑太常伯刘祥道与三司共同审查此案，并命司空李责力监察督办此案。经过详细核查，确认李义府罪状属实。由于李义府的所作所为，已威胁到高宗的集权统治，高宗便下诏将其官爵尽除，流放他乡。其次子李洽、三子李洋和女婿柳元贞流放廷州，其长子李津流放振州。对李义府及其子婿的处置，朝野无不庆贺。“人以为诛‘四凶’”。四凶即指其三子和女婿。有人还写了《河间道元师刘祥道破铜山大贼李义府露布》，张贴于通衢大街之上。所谓“铜山大贼”是指李义府劫得铜钱如山。时为龙朔三年，即663年。
三年后，即乾封元年（666年），朝廷大赦，惟独流放在外者不得归还朝廷。李义府自知只能在流放中了此一生，忧愤成疾，发病而死。时年53岁。
李义府是因其才而受到唐太宗李世民赏识的。但他入朝后权力欲膨胀，仅凭他的才华又无法满足他的欲望，他便走向了自己的反面，成了奸佞之徒。与众多奸臣不同的是，他非常善于伪装：咬人不露牙齿，整人面带微笑，口蜜腹剑，笑里藏刀，是一个典型的笑面虎。披着这样的外衣，更利于窃权固位，倒行逆施。然而，他的真面目最终还是被朝野识破，无法逃脱罢官流放的下场。
§§第十五章 口蜜腹剑的唐代宰相：李林甫