《中华人民共和国行政处罚法》以及相关的地方性法规或政府规章中，通常会规定由具体的行政部门负责追缴违规领取的补贴款项。但具体由哪一级部门负责，可能因地区而异，需参照当地的具体规定。

一. 法律依据

1. 《中华人民共和国行政处罚法》：该法规定了行政处罚的种类和实施机关，虽然直接关于高龄补贴追缴的条款可能并不在此法中，但该法为行政处罚提供了基本框架。

2. 地方性法规或政府规章：各地根据实际情况，会制定具体的高龄补贴发放和管理办法，其中会明确违规领取补贴的处理方式，包括追缴机关和程序。

二. 具体分析

1. 追缴主体的确定：通常情况下，高龄补贴的发放和管理由民政部门或社保部门负责。因此，当发现违规领取补贴的情况时，这些部门也有权进行追缴。但具体由哪一级（如市级、县级）的部门负责，则需参照当地的具体规定。

2. 地方性差异：由于高龄补贴政策存在地方性差异，因此追缴违规领取补贴的具体规定也可能因地区而异。有的地方可能规定由县级民政部门负责追缴，而有的地方则可能规定由市级社保部门负责。

三. 结论与建议

我建议您查阅当地关于高龄补贴的具体规定，特别是关于违规领取和追缴的部分。这些规定通常会明确指出由哪一级的哪个部门负责追缴违规领取的补贴款项。如果您无法找到相关规定，可以咨询当地的民政部门或社保部门，他们将能够为您提供准确的信息。如有进一步需要，您可以继续咨询我。