清朝的海关是一个被逼出来的机构。自明朝后期以来，中央政府执行的就是“片木不得下海”的闭关锁国政策，所以，不需要海关，也没有多少外贸的税收。鸦片战争之后，随着通商口岸的开辟，自然就有了设立关卡的必要。在1843年签订的中英《五口通商附粘善后条款》中，英国人提出由他们来管理“来往之商人，加意约束”，所收得的税金用来支付战争赔款。朝廷官员一听就同意了，反正都是外国人的钱，收进来再付出去，好像是无损帝国的买卖，于是就有了让外国人管理中国海关的制度。1846年，在上海外滩（现在的外滩汉口路）出现了一个用铸铁栅栏围起来的大院子，门口盖了一个中国式的牌楼，上写“江海北关”，专门办理外国商人的进出口税务。1858年，朝廷又准奏在广州设立了第二个海关。
赫德是第二任海关总税务司。他19岁就来到了中国，先在宁波、广州领事馆当翻译，后来被聘为广州新关的副税务司。他操一口流利的汉语，为人自制圆通，而又熟悉中国官场礼节和士大夫的习气，因此深得大臣们的赞扬。他跟当时最重要的满人大臣恭亲王奕、文祥等过从甚密，特别跟后者的关系竟形同密友。1863年，28岁的赫德被任命为总税务司，在这个职位上他一口气干了漫长的48年。
随着对外贸易的扩大，原本不起眼的海关居然在不到20年的时间里成为帝国最重要的经济机构和财政来源之一。就在赫德上任的时候，总税务司署所辖新关已达14处，几乎遍及所有重要的通商城市，雇用洋员400人，华员约千人，已是一个很庞大的行政部门了。海关税收在1861年达到496万两，1871年为1121万两，到1902年已达到3 000万两，是中央政府最稳定、可靠的财源。在建关的前五年，海关就为清政府偿还了《北京条约》规定的1 600万两英法赔款。在太平天国战乱时期，海关为朝廷支付了巨额的财政支持，赫德甚至亲自参与了对常州的攻克战役。他跟李鸿章并肩骑马站在高坡上，目睹戈登的“常胜军”攻进城门。
海关在名义上归属总理衙门管辖，但实际上，从人事到运作管理，全部操于洋人之手。海关主权的旁落，是清政府无能最突出的证明，也是一个主权国家的耻辱记录。不过具有讽刺意味的是，在委靡腐败的晚清行政体系中，赫德管理的海关却是最有秩序和效率的一个机构。他引进了英国的整套行政管理经验，无论行政组织、人事管理还是征税章程都置于一个严格、统一的管理体系之内。海关的财务制度是由英国财政部官员制定的，数十年里很少发生舞弊行为。各部门的主管人员，一般都有较高的文化水平，有的还是博士、硕士。清朝官员的俸禄很低，主要收入都是依靠职权滥取于民，因而形成无数的官场陋习。海关实行西方的公务员薪金制度，待遇很高，但不能额外支取费用。
经济学家杨小凯在《百年中国经济史笔记》中评论说：“过去的很多史书都指称清朝卖国的证据是将海关权利让与外人，其实这种指责是不准确的政治宣传。清末海关虽由英国人赫德管理，但他是作为清政府的雇员行使他的职权。他的管理不但使中国海关迅速现代化，而且使海关成为最有效率、最少贪污的清朝官僚机构。他保证了条约制度对关税率的限制，因而促进了自由贸易及公平税收，他也保证了用有效率的管理和制度为清朝政府提供大量税收。”参与主编《剑桥中国史》的美国华裔学者刘广京的观点也与杨小凯近似，他认为：“赫德管理海关的最大贡献是促进了中国商业的发展，杜绝了清朝腐败制度下贪官对海关的扰乱。”
在将近半个世纪的漫长岁月里，赫德一直是一个摇摆的“中间人”：他一方面是英国等列强的利益捍卫者，竭力为它们在中国的利益最大化不懈努力；另一方面，他也为中国的重振出谋划策。
作为一个清政府的“官员”，赫德对朝廷的改革也很有自己的主张。1865年，在当上总税务司两年后，他呈递了一份名为《局外旁观论》的报告。他以“旁观者”的身份提出了一系列改革建议，包括整顿地丁、盐课、税负，改革官吏俸禄制度，改进军事设施等等。同时，他分析了清政府面临的国际环境，提出派遣外交人员等建议，还提出要加快采用铁路、电报以及机器采矿等西方新技术。日后来看，这是一份十分有远见的报告，除了没有提出君主立宪的政治改革主张之外，它几乎涵盖了后来洋务运动、戊戌变法的所有变革内容。总理衙门一方面认为这个外国人对王朝有“轻侮”的嫌疑，不过同时也承认“所陈内政外交各种利弊，无不谈言微中”。恭亲王还把他的报告转发给各地的督抚，令他们“详慎筹划，不可稍涉疏略，是为至要”。
在后来的几十年里，赫德多次上书改革方案，在保存至今的赫德日记中时常可见他对中国前途的担忧与无奈。1883年，他在日记中写道：“我现在不像过去那样为中国烦恼了……是因为我麻木不仁了？反正这条杀不死的巨龙会经受住一切的。” 1902年，“庚子国变”后，流亡的慈禧太后回到北京，对列强卑躬屈膝。这让赫德都有点看不下去了，他说：“朝廷在礼仪方面做得有些过分，皇太后不仅要接见公使夫人们，还要接见各使馆的孩子们。”
除控制关税之外，赫德的手还伸到了很多有关中国主权的其他业务领域。1896年，他获准由海关办理邮政业务，到1903年，设邮政总局33处，辖分局309个，全国省城除兰州外都通了邮路，这成为中国邮政体系的雏形。此外，海关还兼管了海务、港务、检疫、引水、气象等事务，甚至还办理专利、版权及商标注册等等。在赫德的治理下，海关成为一个地位极其重要、涉足范围惊人广泛的机构。到1906年，海关的扩张终于引起了中国官员们的警惕。在大臣们的一再抨击下，朝廷下令成立独立的税务处，开始逐渐削减海关的特权。晚年的赫德尽管还受到足够的尊重，但是他的权力显然已经在不断缩小。然而，清政府直到灭亡，也没有能够收回关税自主权，甚至到民国最初的十多年里，海关的治外格局仍然没变。一直到1928年的南京国民政府成立，才通过艰难的谈判，把海关税务的征收和保管权收了回来。不过，海关总税务司的职务仍是由英国人或美国人担任，这一情况一直持续到1949年。
赫德于1908年离开中国，不过他的总税务司头衔一直被保留着。他在中国前后生活了54年，这几乎就是清政府最后挣扎的时间。他似乎已经很难分辨自己到底是中国人还是英国人了。1911年9月14日，他给自己的继任者安格联（Francis Aglen）写信说：“我的身体一直很不好，日益衰弱，所以我担心再也回不到中国了……中国人是很善良的，心胸宽大，能很好地一起共事，不要催促他们，要一步一步地来，你就会觉得前进很容易，目标最终可以达到。”6天后，他就去世了，再过20天，武昌爆发了辛亥革命。
77岁的赫德终于没有看到他服务了半个世纪的清政府的灭亡，这也许是上天对他的最后一点赏赐。