噪音不合格的处罚通常由环保部门或城市管理部门负责，具体取决于噪音的来源和性质。以下是对这一问题的详细分析：
环保部门：
- 职责范围：环保部门主要负责环境噪声的监测和管理。如果噪音来源于工业生产、建筑施工等固定源，且超过了国家或地方规定的噪声排放标准，那么环保部门有权进行处罚。
- 处罚措施：环保部门可以根据相关法律法规，对超标排放噪声的单位或个人进行罚款、责令限期治理等处罚。
城市管理部门：
- 职责范围：城市管理部门（如城管局）则主要负责城市管理方面的噪声问题，如商业噪声、社会生活噪声等。这些噪声通常来源于街道、市场、公园等公共场所，或者居民区内的日常活动。
- 处罚措施：城市管理部门同样可以根据相关法律法规，对产生噪声扰民的单位或个人进行处罚，包括警告、罚款、没收产生噪声的设备等。
特殊情况说明：
- 如果噪音问题涉及到多个部门的管理范围，或者噪音来源复杂难以确定，那么可能会由多个部门联合进行调查和处理。
- 在某些地区，可能还设有专门的噪声污染防治机构或委员会，负责协调和解决噪声污染问题。
法律建议：
- 如果您遇到了噪音不合格的问题，首先可以尝试与产生噪音的单位或个人进行沟通协商，看是否能够达成和解。
- 如果沟通无果，您可以向当地的环保部门或城市管理部门进行投诉举报，提供详细的噪音情况描述和证据（如录音、录像等）。
- 在投诉举报时，请确保提供准确的信息和证据，以便相关部门能够及时有效地进行处理。
后续行动：
- 在相关部门介入处理后，您可以保持关注处理进展，并根据需要提供进一步的协助和配合。
- 如果处理结果不满意，您还可以考虑通过法律途径来维护自己的合法权益，如提起民事诉讼等。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。