残疾人补贴的追缴工作主要由用人单位所在地的地方税务局负责。如果地方没有分设地方税务局，则由国家税务局负责征收。这是根据《残疾人就业保障金征收使用管理办法》的相关规定来确定的。该办法明确指出，保障金的征收、使用和管理应当接受财政部门的监督检查和审计机关的审计监督，而保障金的征收机关，即地方税务局或国家税务局，有责任对用人单位进行检查，发现用人单位申报不实、少缴纳保障金的，应当催报并追缴保障金。

此外，残疾人就业服务机构也会配合保障金征收机关做好保障金的征收工作。因此，如果涉及到残疾人补贴的追缴问题，可以首先联系当地的税务局或残疾人就业服务机构进行咨询和了解。

总的来说，残疾人补贴的追缴工作是一个涉及多个部门和机构的综合性工作，需要各部门之间的密切配合和协作。如果您有具体的追缴问题或需要进一步的帮助和指导，建议咨询当地税务局或残疾人联合会的相关部门。