不过，来俊臣依然岿然不动。并不是来俊臣多么忠心，而是武则天认为酷吏不能没有，不用也要放在那里吓唬人。来俊臣却不这样想，他认为自己是武则天身边不可缺少的人物。为了凸显自己的重要性，万岁通天二年（697）六月，来俊臣竟然打起了武氏兄弟和武则天的女儿太平公主的主意。当时武则天正宠信张易之、张昌宗两个男宠，来俊臣也没有忘记他们，连“二张”加李旦、李显一起牵扯进来，有点“全锅儿端”的架势。来俊臣还添油加醋，说以上诸人串通南、北衙共同谋反。南北衙统率的禁军分别负责京城的巡查和保卫皇城的安全，属于保卫武则天的核心部队，来俊臣这么说就是为了扩大范围，让武则天感到恐慌。不过事与愿违，来俊臣也不想想，他告的这些都是什么人，除了武则天的亲骨肉就是武则天最为信任的人，尤其是太平公主等人属于大周的决策层，他们谋反后的日子也未必比现在过得舒服。“丧心病狂”就是来俊臣这时的写照。
武氏诸王以及太平公主也很清楚来俊臣的坏名声，他们知道，如果让这只疯狗咬上了，后果是不堪设想的。于是武氏诸王联手太平公主对来俊臣下手了。面对这两股势力的共同绞杀，来俊臣纵有天大的本事也是白搭，很快就进了监狱。事实证明，当酷吏自己尝试了酷刑一样扛不住，周兴是这样，来俊臣也是这样。很快来俊臣的供词放在了武则天面前，毋庸置疑这个罪名一定是谋反，还有能大过这个罪名的吗？而来俊臣的行为也足够证明这一点，连武则天的嫡系都被扣上谋反的帽子，为的就是孤立武则天，成为孤家寡人。而武则天这时候还在犹豫，毕竟是自己用过多年的狗，就是真狗养了这么多年也有感情，何况是比真狗还有用的人。
不过，大臣们知道这是搞倒来俊臣唯一的机会，如果错过了这个机会，随之而来的就是更为疯狂的报复，于是大家积极行动起来。当时的宰相王及善看着请示处决来俊臣的奏章迟迟没有得到武则天的批准，于是对武则天进言说：“来俊臣凶残贪暴，是国家的祸害，如果不除，会动摇国家根本的。”这话说得够严重了，直接和国家安危挂上了钩。但是武则天仍然没有表态，她还在纠结。接下来，另外一名宰相吉顼继续做武则天的思想工作。他奏请批准处决来俊臣，而武则天依旧念在来俊臣对她有功的份上，想拖延。吉顼说：“来俊臣聚结不法之人，陷害忠良，受贿巨大，被他杀的冤魂到处都是，这样的国贼，有什么可惜的？”这几句话可能对武则天起了作用，武则天痛下决心，签署了处死来俊臣的奏章。
来俊臣就这样走到了人生的尽头。他为官二十年，制造各种冤案不下百起，冤杀大小官员近两千人，灭族一千多家，被他杀掉的人有数万之巨，其中还包括李氏王爷、郡主等几十人，宰相五人，大将军十几人，可以说来俊臣的仕途是用白骨铺成的，他的手上沾满了太多人的鲜血，恶贯满盈就是对他一生的评价。在行刑当天，来俊臣的仇家们一起来到刑场。当来俊臣被砍下头来后，仇家们立即扑上去争着咬他的肉，还挖眼珠、剥面皮、剖心肝，瞬间来俊臣的尸体被人分成无数段，可见恨他之深。
武则天这时也下诏历数来俊臣的罪状，并宣布灭其族。不管是大臣，还是普通的百姓都奔走相告，传播着来俊臣被诛杀的好消息。来俊臣的死成为酷吏退出大周历史舞台的标志，一个血腥的时代已经过去。而最为受益的就是武则天本人，她利用酷吏扫平了自己前进的道路，又适时地整治了酷吏，取得了全国的拥护。武则天将所有被冤屈人的怒气都转移到了酷吏的身上，自己反而置身事外，坏事都是酷吏做的，脱清了自己的干系，真是绝对巧妙的手腕，堪称政治高手。