像历代许多阴谋家一样，阿合马得势朝廷后，就凶相毕露，耍尽权谋，铲除异己，以扩大自己的势力，到了1274年，安童向忽必烈奏劾阿合马专权误国，忽必烈并没有理会。第二年安童受命出镇北边，实际上是被阿合马排挤出了朝廷。在此前后，汉法派大臣史天泽、刘秉忠、赵璧等人先后死去，汉法派势力极度削弱，便团结在皇太子真金的周围与阿合马抗衡。真金积极推行汉法，对阿合马的横行跋扈十分厌恶，甚至当着忽必烈的面怒打他，这给了汉法派很大鼓舞，决心依靠真金和阿合马斗争下去。
有一次，阿合马的同党发生内讧，有人上告阿合马窃国家财物为己有，忽必烈命中书省调查，但是中书省的官吏都畏惧阿合马的权势，怕遭报复，互相推诿。惟有中书右丞廉希宪刚直不阿，亲自查实，随即上奏忽必烈。忽必烈命阿合马到朝廷核实，阿合马极力申辩。廉希宪满腔怒火，就拿棍子向阿合马打去，使阿合马狼狈不堪，恨透了廉希宪。然而，忽必烈仍然没有治阿合马的罪。以后，廉希宪反而因出言耿直，触怒忽必烈而被罢官。
一天，忽必烈问身边的人，廉希宪在家干什么，侍臣回答说在读书，阿合马乘机进谗言道：“我听说廉希宪整天和妻子举行宴会。”忽必烈也感到阿合马在胡说八道，随即斥责道：“希宪清贫，拿什么举行宴会？”阿合马只好低头称是。诬陷不成，就拉拢利诱，这是阿合马经常采用的软硬兼施的手段。由于廉希宪在朝廷中很有威望，他患病时，忽必烈派御医诊治，大夫说须用砂糖治病，当时砂糖很不好弄到。阿合马听说后马上派人送去，表示慰问，想借机拉拢关系，廉希宪愤而不用。
宿卫秦长卿，目睹阿合马祸国殃民，陷害异己，忍无可忍，就上书忽必烈，历数阿合马陷害忠良、无恶不作的罪行。忽必烈又交中书省查办。阿合马见事不妙，拿出大量钱财贿赂中书省的官吏，唆使他们在忽必烈面前为自己美言和鸣冤，阿合马的同党也为解救阿合马而到处活动，于是不了了之。阿合马恨不能立即把秦长卿置于死地，但是他不在自己的管辖之下，抓不住陷害他的把柄。于是阿合马绞尽脑汁，想出了一个极其阴险毒辣的阴谋。过了不久，阿合马假惺惺地上奏说，秦长卿直言敢谏，才能出众，应以重用，请求任命秦长卿主管冶铁。秦长卿上任后，阿合马就指使心腹诬陷秦长卿克扣贪污数万银两，被逮捕下狱，抄斩其家门，妻儿老小无一幸免。
阿合马在任制国用使时，与亦麻都丁不和。后亦麻都丁因欠官银无力偿还，阿合马乘机罗织罪名，把他陷害入狱。还有一个叫刘仲泽的官吏，也因冒犯阿合马，被阿合马无辜治罪。
阿合马把这三个人抓进监狱还不算完，非要杀掉他们而后快。主管此事的兵部尚书张雄飞坚持不能治以死罪，阿合马送去重礼贿赂，并派人捎信说：“如果你把这三个人杀了，我一定委你重任。”张雄飞怒道：“靠乱杀无辜谋取高位，我不干。”阿合马见贿赂不成，就翻脸奏请忽必烈任张雄飞为澧州（今湖南澧县）安抚使，把他排挤出朝廷。随后又买通了狱吏，把秦长卿等三人害死在狱中。
阿合马依仗权势，耍尽权谋，顺我者昌，逆我者亡，弄得朝廷人人自畏。中书左丞崔斌几次上奏忽必烈，历述阿合马的奸恶。忽必烈也开始觉察到阿合马有问题，就命御史大夫相威和枢密副使孛罗调查，但还是舍不得罢黜他。阿合马怀恨在心，伺机铲除。
1279年，忽必烈为了加强江淮地区的管理，任崔斌为江淮行省左丞。崔斌到任后，力除积弊，卓有政绩。然而阿合马却以清理江淮行省的钱粮为名，诬构崔斌擅自改任官吏，私铸铜印，擅支粮食等罪名，崔斌因此惨遭杀害。崔斌被冤杀，朝廷大臣痛心疾首，更感到阿合马是国家大害，非除不可。
1280年，廉希宪病危，太子真金派侍臣探望。廉希宪让侍臣向真金转达说：“皇上一统江山关键在于用人。如果任用贤人治理国家，天下就太平；如果任用奸佞治理国家，天下就大乱。我病已重，只好听天由命了。我所担心的是，现在大奸专权，群小阿谀附和，误国害民，这才是大病。要赶快除掉他，否则病入膏肓，就不可救药了。”
1282年3月，忽必烈按惯例离开大都（今北京）去上都（今内蒙古蓝旗东闪电河北岸），皇太子真金随同。阿合马和中书平章政事兼枢密副使张易等留守大都。3月17日夜，益都千户王著和高和尚密谋，联络八十余人，假称太子回大都作佛事，进入大都。张易听从王著矫传真金的令旨，领兵来到东宫候遣。王著装扮太子真金，来到东宫门前，阿合马连忙出来迎接。说时迟，那时快，王著一把抓住阿合马，用藏在袖子里的大铜锤砸碎了他的脑袋。忽必烈闻报，立即命枢密副使孛罗等人前往镇压，王著、高和尚和张易等均被处死。
“树倒猢狲散”。事后，忽必烈从孛罗处得知阿合马的全部奸恶大怒道：“阿合马这个奸臣该杀！”遂下令将阿合马戮尸，让狗吃他的肉。阿合马的子侄全部处死，其家族的财产被没收，同党也多被罢黜。朝廷上下无不拍手称快。阿合马终于落得了可耻的下场。
纵观阿合马专权祸国的一生，不仅可以得出封建统治集团内部权力斗争中的阴谋手段是其必然产物这样一个结论，还可以引出其它一些思索。阿合马是一个善于钻营、阴毒狡诈之徒。他得势于一个历史的契机——忽必烈因李兵变改变了用人路线，以及他所代表的蒙古贵族传统的“黩武嗜利”的落后一面。阿合马不失时机地由此而登上政治舞台后，把立足点和着眼点放在千方百计笼络皇帝上，他深知只要取得皇帝的欢心和宠信，就可以在朝廷专权跋扈、任意横行了。他充分利用忽必烈晚年日益严重的嗜好财利的弱点，凭着自己多智善辩、惯于玩弄权术的本领，投其所好，使得忽必烈赏识他，离不开他。甚至当他大肆破坏忽必烈积极推行的汉法，倒行逆施时，忽必烈居然也听之任之。阿合马握有权柄后，便毫无顾忌地大肆结党营私，阴谋陷害异己，不断扩充自己的势力，权倾朝野达二十年之久，把整个朝廷变成了阿合马家族的天下。但是“玩火者必自焚”，阴谋家阿合马最后的结局是被人设计谋杀，这是一个带有讽刺意味而又合乎逻辑的归宿。