逐归田里隆庆六年正月，高拱为柱国，进中极殿大学士。然而他专横更甚。加之其门生韩楫、程文等日夜奔走其门，狐假虎威，专以博戏为务，人都恶之。高拱初尚持清操，后渐狎奢，常对人曰“日用不给，奈何？”门生、下僚闻之，争相进献，“赇纳且集矣”，因此遭致物议。御史汪文辉上疏讥刺时事，语连高拱，高拱召而骂之，亟补宁夏佥事以出。尚宝卿刘奋庸也上疏纠拱，给事中曹大野则抗章劾拱不忠十事，中有高拱擅权报复、排斥善类、超擢亲戚乡里门生故旧，以及亲开贿赂之门等等，穆宗不听。二人皆谪外任。
张居正与高拱为故裕邸旧僚，张居正谋高拱出，高拱也亟称居正才，两人尚称友善。高拱居揆席，张居正又肩随之。高拱多与同列发生冲突，张居正独退然下之，不与介入。对于智谋出众的张居正来说，长期屈居人下，是不甘心的。他退而不与争只是一种策略，高拱并不察知。隆庆五年张居正为徐阶三子事讽言高拱。高拱下人传言张居正受徐阶三万金贿赂，高拱不辨真假，以此诮张居正，张居正怒，而高拱也疑曹大野之奏章受张居正指使。两人便存隙离交，张居正逐高拱之念渐强，于是暗结太监冯保，以借中贵力量图事。高拱著《病榻遗言》四卷隆庆六年五月，穆宗大渐，召高拱、张居正等入内。穆宗执拱手曰：“以天下累先生”，宣内阁受顾命。时司礼监授遗诏，有二札，一给皇太子；一授高拱，中有遇事内阁与司礼监冯保商榷而行之说。高拱识其矫。未几，穆宗崩，神宗即位。神宗幼冲，冯保倚仗太后势，挟持幼帝。高拱欲惩中官专政，上言五事，请诎司礼监权，还之内阁，又唆门下言路疏劾冯保。高拱想与张居正共成此事，使人语居正曰：“当与公共立此不世功。”居正得迅即密报冯知。冯保游说太后及幼帝前，诬高拱欺太子年幼，欲废之而迎立河南周王，自己得国公爵等等。冯保又买通两宫近侍，复言之，“皇后与贵妃皆愕然”，便决议逐拱。第二天，即召群臣入，宣两宫及帝诏，切责高拱擅权无君，数其罪而逐之，即日归田里。高拱原满以为宣诏必是逐冯保无疑，及诏宣逐己，拱不啻为晴天霹雳，“面色如死灰”，“汗陡下如雨，伏不能起”。张居正从旁掖他起。第二天一早，柴车即路，颇为凄凉地踏上了归程。
回到老家，高拱意忽忽不自得，“角巾野服，恂恂一布衣”，不言国事，而“闭户却帚下帷著书八十余卷”。不料冯保害高拱之心不死，又造王大臣事件，欲置高拱于死地。吏部尚书杨博、御史葛守礼等知有诬，力救之，张居正贻书相慰安，乃止。高拱得免於难。不过从此他惊忧成疾，一蹶不振。万历五年，张居正回故乡湖北江陵葬父，路过高拱的故里，专程探望高拱。两人相见掩面而泣，感慨不已。万历六年十二月高拱卒于家，终年六十六周岁。葬于县城北郊今阁老坟村，高拱家属以恤典请，只因冯保当权，止许以半葬。谥文襄。待张居正死後，因为万历皇帝对张居正的清算。二十多年后，高拱嗣子具疏，神宗以“高某担当受降，北虏称臣，功不可泯”，赠复原官。万历三十年，诏赠高拱为太师。著有《高文襄公集》。1才学著作高拱素好读书，为文不好词藻，而深重有力。他著述甚富，有《问辨录》十卷、《春秋正旨》一卷、《本语》六卷、《边略》五卷、《纶扉外稿》四卷、《掌铨题稿》三十四卷、《南宫奏牍》四卷、《政府书答》四卷、《纶扉集》一卷、《程士集》四卷、《外制卷》二卷、《日进直讲》十卷、《献忱集》四卷等等，后人辑为《高文襄公文集》。
人物评价高拱不仅是一个有干略的政治家，在学术思想的研究上也有所成就。他不囿于先儒成说，以为“其不能得者亦不可强从”。直斥程朱理学“远人情以为天理”；他很赞同同时代思想家王廷相的观点，认为理在事物，无其事即无其理。他对“权”字更有一套独到的见解，把“权”与“经”比作秤上的“锤”和“衡”，两者关系是“盖经乃有定之权，权乃无定之经，无定也，而以求其定，其定乃为正也”。即：权和经是对立的统一体，凡事皆有经，其事实行时应认真权一下，使权与经得以统一。在“义”和“利”的问题上，认为“苟出乎义，则利皆义也；苟出乎利，则义皆利”，只要摆正义和利的关系，言利也不是不好，痛斥了“君子不言利”的迂腐观点。他还认为正因前人没有把握住这种关系，才造成“经制之略置之不讲”，善理财者不闻，祸国殃民。他自己十分重视理财，重视有关国计民生的政务，主张务实。他的学术思想正是他行使政务、取得政绩的思想根源。
三日后，盐帮大会在盐帮总舵如期召开。
“哇，这盐帮戒备如此之森严，看来这丹阳大侠的称号果然是名不虚传，我们要进去恐怕要小心了！”
尹俊踹着请柬朝盐帮总舵边走边说。我点了点头道：“先进去再说！”穆清‘尹俊二人点了点头，大步朝盐帮总舵走了过去。
“站住！”两名盐帮手下厉声喝道。尹俊刚忙递上了请柬，一名子弟接过请柬，认真的查看了一番，声音冰冷道：“进去吧！”尹俊笑了笑，从那名盐帮弟子手中接过请柬，我带着穆清走了进去。盐帮大院早已聚集了数百人，尹俊叹了一声道：“这盐帮号称福建第一大帮，果然不是吹的，想不到区区一个盐帮大会，竟然来了这么多人，而且来了得还是江湖上有头有脸的人物！难怪仇万千要杀了万峰，看来这盐帮帮主真是一方霸主啊！“我刚想答话，突然大院的内侧，一个身影走了出来，此人双颐不丰而法令深刻，眼瞳不大而炯炯有神，且鼻隼如塔，人中颀长，长颊高颧，眉扬如剑，十足一副腾搏万里的饿鹰之相，加之气色如赤霞蕴珠，沉稳中露出一股虎气。如此怪异之相，世间少有。我不由的留心望了过去，尹俊见我目不转睛的盯着来人，好奇的顺着我眼光望了过去，低声道：“难道这人就是邰方？”我点了点头道：“不错，此人真是邰方，盐帮总管邰方！”尹俊一怔，急忙打量此人，见此人双颐不丰而法令深刻，眼瞳不大而炯炯有神，且鼻隼如塔，人中颀长，长颊高颧，眉扬如剑，十足一副腾搏万里的饿鹰之相，加之气色如赤霞蕴珠，沉稳中露出一股虎气。如此大贵之相，世间少有。不由的惊叹一声道：“好一副王者之相，难怪此人能左右我大明朝政，但看此人相貌就知此人非人间凡品，想不到竟然甘心在盐帮做了一个小小的总管！真是让人费解啊！穆清见我脸色沉重，心中略有担忧，急道：”现在我们该怎么办？”
我望了一眼邰方，想了想道：”危急之际，我们只能借个机会除掉此人，要不然单凭我们无人休想混入仇万千的身边！“尹俊点了点头道：”可此人号称丹阳大侠，武功自然不弱，要杀他谈何容易，万一惊动了盐帮总舵的数千名守卫，我们可吃不了兜着走啊！“我呆立了半响，朝盐帮总舵的四周打量了一番，见大院的左侧的一角有一间破旧的书房，书房的顶端的一块巨大的金匾之上用浓浓的正楷书法写着“云水书斋”四个大字，我一望那书斋，心中颇为一动，一条心计便涌上了心头。
穆清见我面露喜色，喜道：“你有办法了？”
我点了点头。尹俊一拍我的肩膀喜道：“我就知道你一定有办法！”什么人？站住？”邰方的身影箭一般的朝尹俊追了过去，他的身影虽快，但尹俊的身影也不慢，几个纵落身子便已然落在了云水书斋门前，尹俊在门前顿了顿，身子如鬼魅一般，一闪落入了云水书斋。身后的邰方身子一震之下，如雄鹰一般，掠过了房顶，落进了书房。书房平静如初，丝毫没有人住住的痕迹。
邰方小心翼翼的推开了书房的侧门，门发出咿呀咿呀的两声响动，在热闹如潮的盐帮大院内，并不是什么值得人惊讶的事情。就在这时，突然两条黑影一闪，邰方大吃一惊，身子登时被一股巨大的力道推向书房深处，好在他伸手不弱，身子一经反应过来，借这一推之力向后跃开，匆忙之中不曾看清楚书房内竟然会有个地洞，双脚向后跃开之时踩一个空，身子便从空中笔直地掉落下去，由于事出突然，加之那股力道出奇的大，邰方虽然跃开，但书房四周乃是郁郁葱葱的参天大树所覆盖，虽说是白天，但书房如同是黑夜，四周一片漆黑，邰方一时不慎，故而身子还是重重的落在了地洞之中。那地洞有数丈高，一旦落下任凭你