谢安在桓温军府工作时间并不长，很快，他应朝廷之请，担任吴兴太守。
这个官职不大，但却是非常重要的职位，它代表了朝廷对于谢安的重新认可，而且对于他列位中枢、管理国民经济也是一项很重要的历练。
东晋官位大致上可分三类。第一类是由朝廷任命的地方官，如县令、郡太守（包括王国内史）。第二类是地方上不归朝廷选任、由郡太守自行辟除的郡功曹。第三类是中央职能部门官员。
在东晋，社会上除了有士族和庶族的阶层分等以外，士族之中还分高级士族和低级士族，比如替代东晋的刘宋第一任皇帝刘裕就是出自低级士族。等级不同，职位分配也不同，低级士族在地方上基本只能担任郡功曹，在中央，基本上也只能当事多还得罪人的治书侍御史和侍御史等极少数官职。
最高级士族一般爱当事少权多责任少的中央职能部门官员，而且还要指定当权力最大的吏部的官员。谢安女婿王国宝就是因为谢安没有安排他到吏部当官而成为仇人。
当然，中央职能部门事少，但收入也少。所以高门大户一般要安排子弟到比较富裕的郡县当官，直接刮地皮，收入要比当京官丰厚得多。
东晋全部统治区有郡约二百，县约一千，郡县也分为若干等级，其中最热门的县是二品县、三品县，最热门的郡是大郡以及首都周围的郡。因为在热门的郡县工作收入高，所以大家都抢着做，所以当太守，特别是富县、富郡的太守，夯实自已的经济基础，已经是东晋高官晋升前的必备条件。当时本来太守任期六年，但是因为排队的人太多，任期就越来越短，到了刘宋，只有三年了，更多人只是过渡一阵子就走。
吴兴郡辖区在现在的浙江湖州、杭州、江苏宜兴一带，这是东晋经济腹地。吴兴郡与会稽郡和吴郡当时并称三吴，是江东最为富庶的地方。在地形上，这里不仅临近建康，可以互为犄角，而且易守难攻，汉灵帝时候，张角起义，湖北、江苏一带是重灾区，只有吴兴郡防守严密，没出什么问题。
所以无论经济、军事上，吴兴太守都是很重要的官职，是东晋世家大族晋升的主要路径，这个职务，著名的王羲之和王献之父子担任过，而陈郡谢氏也先后有十人出任过。
谢安执政吴兴，采取了无为而治的思想。按现在的政绩观来评价，谢安在吴兴政绩有限，史书上根本查不到。野史上说他上任后，修治残缺，开垦荒野，劝课农桑，通关市，来远商。这也是没话找话，失之虚泛。可考的政绩只有一个，说是谢安在吴兴时，曾组织民工开城西官塘，相当于给人民提供了自来水，民获其利，颂称为“谢公塘”。
虽然没有一个大手笔，不过老百姓十分感激，后来还立了碑纪念他。
到了唐朝天宝末年，这块碑丢了，大书法家颜真卿觉得丢了可惜，就拿旧史遗文重立谢公碑，并在碑阴记述重立经过。这件事也反映了谢安的巨大影响力。