非法吸收公众存款的行政处罚，主要由地方金融监管部门（地方金融监督管理局）负责。以下是对此问题的详细分析：

1. 行政处罚的法律依据：

   • 非法吸收公众存款的行为，首先违反了《中华人民共和国银行业监督管理法》的相关规定，该法明确了银行业金融机构的设立、变更、终止以及业务范围等需要经过银行业监督管理机构的批准，并接受其监督管理。非法吸收公众存款，未经批准擅自从事银行业金融机构的业务活动，显然违反了该法的规定。
   • 同时，此类行为还可能涉及《防范和处置非法集资条例》等法规，这些法规进一步明确了非法集资（包括非法吸收公众存款）的防范和处置措施，以及相关部门的职责。

2. 行政处罚的负责部门：

   • 根据相关法律法规，地方金融监管部门（如地方金融监督管理局）是负责非法吸收公众存款等非法金融活动行政处罚的主要部门。它们有权对涉嫌非法吸收公众存款的机构或个人进行调查、取证，并根据调查结果作出相应的行政处罚决定。
   • 在某些情况下，如果非法吸收公众存款的行为涉嫌犯罪，地方金融监管部门还会将案件移送至公安机关，由公安机关依法进行刑事侦查和起诉。

3. 行政处罚的具体措施：

   • 地方金融监管部门在查处非法吸收公众存款行为时，可以采取多种行政处罚措施，包括但不限于警告、罚款、没收违法所得、责令停业整顿、吊销相关业务许可证等。
   • 这些处罚措施的具体适用，会根据非法吸收公众存款的情节严重程度、造成的后果以及当事人的主观过错等因素进行综合考量。

4. 法律建议：

   • 对于涉嫌非法吸收公众存款的机构或个人，建议立即停止相关活动，并主动向地方金融监管部门报告情况，配合调查和处理。
   • 对于投资者或受害人，如果发现自己的资金被非法吸收，应及时向公安机关报案，并保留好相关证据，以便后续维权。

如果您有关于非法吸收公众存款或其他法律问题的疑问，可以直接向我咨询。我将根据您的具体情况，提供专业的法律意见和帮助。