1853年9月，小刀会攻占上海县城，海关银两全部被劫，官员逃走，海关停摆。之后外商在此处就不再缴纳关税。虽然英国是向中国出口的主要国家，该国却认为此事甚为不妥，有违国际贸易规则和公平，遂与法国、美国三国协商在上海成立临时海关，代收关税。清政府彼时被国内事务搞得焦头烂额，根本无暇顾及本就收不上钱的小小海关，点头同意。新海关于1854年由英法美三国筹措成立，按西方体例制定章程，两年内收取关税70多万辆白银，是此前清廷掌控时的数倍，并被悉数转交给大清。清廷深感讶异，曾国藩称此举颇有君子之心。

几年后因上海江海关税收日增，清政府成立海关税务司，统管各地海关。1863年，恭亲王基于对28岁的英国人鹭宾.赫德人品和业务水平的认可，拟任命赫德统管海关税务司。英国在华代表向总理大臣文祥建议由中国人而非英国人作为海关统领，被文祥当即拒绝。文祥的理由，是以往中国人主管各地海关时的种种贪腐渎职，多少年来前赴后继未有改观。

大清国正三品官员英国人赫德正式登场，掌管海关税务司45年，后官拜正一品。在他的管理下，海关税务司只向总理衙门负责，独立于其他政府机关。英语为工作语言，引入英国会计审计等制度，进行关税申报查验；录用人员必须考试，在上海、香港、伦敦等地设置考点，实行全球招考和录用；实行绩效考核和养老金制度，对雇员实行高薪；凡有贪腐即行查办，粤海关曾有雇员因收受一条鱼被立即开除，所有高薪和福利尽失。赫德对自己要求也非常严格，曾有高级雇员工作失误导致两万余两白银损失，赫德认为自己负有领导责任，自掏腰包弥补国库。

赫德极为勤奋，业绩傲人。据说40多年只请过两次假，一次结婚，一次探亲。他亲自撰写了海关税务司几千份通令的大部分。他就任时海关税收490万两，1908年已达3020万两，占清政府收入的24%。猛增的海关收入为洋务运动、北洋海军的建立提供了大量资金。他力主购买海关缉私舰，领导修建了中国第一条海底电报电缆。赫德还在英国报刊发文阐述维护大清国独立的重要性，多次出面协调清政府与各国的争端。他在日记里提醒自己要始终以大清国的利益为第一要务。

1908年，70多岁的赫德身体难以再支撑繁忙的工作，决定辞职回国。清政府大小官员、各国外交官以及中国各界名流千人送行。赫德在办公桌上留下用中文书写的字条：“1908年4月13日上午7时，鹭宾.赫德走了。”三年后赫德在英国病逝。

赫德掌管几十年的中国海关得以在民国时期继续按前例运转，以廉洁和高效著称。为表彰和纪念他的巨大功绩，民国政府于1914年在上海外滩为他树立铜像，北京、上海和香港都有道路以他的名字命名。

再30多年后，赫德掌管晚清海关成为丧权辱国的象征，北京和上海的赫德路更名，外滩雕像被移除。