淝水战后南方内部矛盾复杂。一是上下游即桓氏与谢氏的矛盾。这一矛盾，由于太元九年桓冲死后谢安未并吞其地境，而以桓豁诸子以及桓伊分督荆、江、豫州，妥善解决。另一矛盾，即司马氏与谢氏的矛盾，在淝战前夕以司马道子与谢安共录尚书事而微有暴露。淝战后久不封赏，较明显地暴露了这一矛盾。加以谗毁迭起，谢安越来越不能自安于中枢职任，不得不于太元九年八月自请北征，并于十年四月出居广陵，八月死。司马道子遂得为扬州刺史、录尚书事、都督中外诸军事，完全排除了谢氏在中枢的存在。这样，谢玄也不能自安于北府之任，加以北伐失利和疾病的原因，于太元十二年正月退就会稽内史职，十三年正月死。这是陈郡谢氏家族历史发生重大转折的一年。
谢玄解驾东归以至于死，标志着谢氏门户越过了其发展的顶点。从此以后，谢氏家族再未产生顶梁柱一般的人物，只是在一个时期内还保留着对北府兵的影响，这通过谢琰的活动可以看出。
谢琰为谢安之子。谢安死后十余年间，即东晋孝武帝与会稽王司马道子主相相持以及太原王氏两支分助主相的这一时期中，谢氏家族人物包括谢琰，均无所作为，这是谢氏家族在政治上受到压抑的结果。隆安元年（397年）王恭在京口谋反，朝廷始假琰节都督前锋军事，领兵征讨。这显然是由于陈郡谢氏门户可以当太原王氏门户，而谢琰与北府又有历史渊源，司马道子欲加利用的缘故。王恭事件平息后，谢琰于隆安三年迁卫将军、徐州刺史，假节。依照晋制，假节虽有在军事时期可杀犯军令者之权，但谢琰为刺史假节而不得为都督，毕竟只是单车刺史，与都督徐兖诸州军事的刘牢之相比，势力大不相同。朝廷此授，不过是在王恭事平之后欲以谢琰平衡刘牢之而已。
孙恩叛乱时，朝廷才命谢琰督吴兴、义兴二郡军事以镇压之。隆安三年，谢琰以徐州刺史加会稽内史、都督五郡军事。到此为止，谢琰始有较大的军事实力。
隆安四年，谢琰战败被杀，谢氏门户力量更衰。此后的谢氏人物，同其他的士族高门人物一样，都不得不陆续投靠出自北府将的刘裕或刘毅，不再能独树一帜，历史上真正的门阀政治，从此就趋于破坏。
门阀政治作为一种消失了的政治格局，在刘宋时还有较强的余波。治国需要知识，而通晓朝典、诸悉人物、具有治国知识的人，在当时只有士族。可以帮助皇帝实现统治的寒门知识分子，其出现并发挥作用还须一段发育时间。刘宋文帝元嘉一朝，决断权无例外地属于皇帝自己，但是朝廷中王、谢士族充斥，大事都有他们插手。文帝为了实现皇权政治，有魄力诛杀前朝顾命大臣徐羡之、谢晦等人。但是《资治通鉴》上说：“帝之始亲政事也，委任王华、王昙首、殷景仁、谢弘微、刘湛，次则范晔、沈演之、庾炳之，最后江湛、徐湛之、何瑀之及王僧绰，凡十二人。”这又说明宋文帝的皇权政治，还十分需要士族人物作为自己的拐杖。此后虽然有寒人知识分子逐渐进入历史舞台，但是门阀士族在文化、社会、政治上的影响依然存在。他们居高位而骄矜作态的表现，在南朝历史上竟比东晋时突出得多。
关于陈郡谢氏，史学界曾注意到一个显著的问题，即谢氏人物被孙恩起义群众杀戮的，比其它士族门户都多。谢氏被杀人物之著名者，计有谢安之子谢琰，谢琰之子谢肇、谢峻，谢铁之子谢邈、谢冲，谢冲之子谢明慧等。谢奕之女谢道韫，差一点与丈夫王凝之一同死于会稽。究其原因，可能除了孙恩与长期执政的东晋门阀士族的一般矛盾以外，还有孙恩与谢氏的特殊矛盾。谢氏是孙恩起事之时影响最大的一家门阀士族。孙恩起事，首先是反对当权的司马元显，同时也特别仇视其时最有影响的士族谢氏。谢氏家族的经济势力在三吴扩展，也较其它门阀士族要显著一些。所以谢氏人物或居家或为官在三吴者，在孙恩起事的战斗中首当其冲。
孙恩起兵地点原拟在以谢邈为太守的吴兴郡而不是以王凝之为内史的会稽郡。孙恩曾为谢邈门下客的从者，往来于吴兴郡中，熟悉谢邈及谢氏家族情况。吴兴起兵因故不果，始改会稽，但谢氏人物死于孙恩之役者，仍以吴兴郡为多。
孙恩起事以后，主要的战场对手，一个是以徐州刺史督吴兴、义兴两郡军事，后来又以会稽内史督五郡军事的谢琰，谢琰不久即被孙恩军杀死；另一个是统领北府兵的刘牢之，而北府兵与谢氏家族关系的密切，是人所共知的。这也是孙恩与谢氏家族矛盾表现得特别尖锐的一个原因。
晋末以来，几家最高的门阀士族，以谢氏影响最深，潜力最大，所以谢氏人物参预政治的机会，也较其它家族为多。在晋宋皇权复兴之际，谢氏这样的家族，对于皇权说来，既最有利用的价值，又最具生事的危险。所以自东晋义熙年间刘裕当权以后，以迄刘宋之间，谢氏家族人物被刘宋杀戮者，比其它高门都要多，计有谢混、谢晦、谢灵运、谢综、谢约等人，其中谢混是谢琰之子，谢灵运是谢玄之孙。联系到农民暴动中士族被杀者也以谢氏为多的事实，不能不认为其中有共同的原因。