对于非法吸收公众存款不构成犯罪的情况，一般由地方金融监管部门进行行政处罚。以下是对此问题的详细分析：

一、行政处罚机关

在非法吸收公众存款的行为不构成犯罪时，即尚未达到刑事立案标准，但违反了相关行政法规的，通常由地方金融监管部门（如地方金融监督管理局或金融工作办公室）负责行政处罚。这些部门具有对金融活动进行监管和处罚的职权，能够针对非法吸收公众存款等违法行为进行调查、取证和处罚。

二、行政处罚依据

行政处罚的依据主要包括《中华人民共和国行政处罚法》以及相关金融法规，如《防范和处置非法集资条例》等。这些法规明确了非法吸收公众存款等违法行为的定义、处罚种类和幅度，为地方金融监管部门提供了执法依据。

三、行政处罚种类

根据相关法规，对于非法吸收公众存款不构成犯罪的行为，地方金融监管部门可以采取多种行政处罚措施，包括但不限于：

1. 警告：对违法行为人进行书面或口头警告，指出其违法行为的性质和后果，要求其立即停止违法行为。
2. 罚款：根据违法行为的情节和后果，对违法行为人处以一定数额的罚款。罚款的数额通常根据违法所得、吸收资金规模等因素确定。
3. 没收违法所得：对违法行为人通过非法吸收公众存款所获得的收益进行没收，上缴国库。
4. 责令停业整顿：对于情节严重的违法行为，地方金融监管部门可以责令违法行为人停业整顿，限期整改。
5. 吊销相关证照：对于严重违反金融法规的违法行为人，地方金融监管部门可以吊销其相关金融业务许可证或营业执照，禁止其继续从事金融活动。

四、特殊情况说明

如果非法吸收公众存款的行为涉嫌犯罪，即达到了刑事立案标准，那么将由公安机关进行刑事立案侦查，并可能由检察机关提起公诉，最终由法院进行审判。在这种情况下，行政处罚将不再是主要的处罚方式，而是可能作为刑事处罚的补充或替代措施（在情节较轻、不构成犯罪的情况下）。

五、建议与提醒

1. 遵守金融法规：企业和个人应严格遵守国家金融法规，不从事非法吸收公众存款等违法行为，以免面临行政处罚或刑事处罚。
2. 及时咨询专业律师：如果对金融法规或相关行政处罚有疑问或需要帮助，建议及时咨询专业律师，以获取准确的法律意见和帮助。

如有任何关于刑事辩护或公司事务方面的法律问题，都可以直接向我咨询，我会尽我所能为你提供专业、全面的法律服务。