工厂噪音扰民问题主要归生态环境部门、公安机关以及城市管理综合行政执法部门等管理。以下是对这一问题的详细分析：

1. 生态环境部门

   • 职责：生态环境部门是负责监管企业生产过程中产生的工业噪声的主要部门。它们确保企业的噪音排放符合国家规定的环境噪声排放标准，以保护周边居民的生活环境。
   • 处理措施：如果工厂噪音排放超标，生态环境部门有权责令其整改，并可依法处以罚款等处罚。若工厂逾期不整改，将面临更严厉的法律后果，如停产整顿等。

2. 公安机关

   • 职责：公安机关负责管理社会生活噪声，包括工厂在公共场所组织的娱乐、集会等活动产生的过大音量，以及工厂内部因治安问题等产生的突发性、偶发性噪音。
   • 处理措施：根据《中华人民共和国治安管理处罚法》，公安机关可对责任人进行警告、罚款，甚至拘留等处罚，以维护社会治安秩序和居民的正常生活环境。

3. 城市管理综合行政执法部门

   • 职责：在一些地方，城市管理综合行政执法部门负责查处工厂在商业经营活动中使用高音喇叭或其他高噪声方法招揽顾客等行为。
   • 处理措施：它们会依据相关法规进行管理和查处，确保工厂的商业活动不影响周边居民的正常生活。

4. 其他相关部门

   • 除了上述部门外，根据具体情况，还可能涉及城市管理部门（如管理街头施工噪音，要求施工单位采取降噪措施）、交通运输部门（负责交通运输类噪音管理）等。

居民应对措施：

• 投诉举报：居民在遭遇工厂噪音扰民时，应首先向当地的生态环境部门投诉，反映噪音污染的情况和问题。若生态环境部门未能有效解决问题，或噪音属于公安机关管理范畴，居民可进一步向公安机关报案。
• 提供证据：在投诉过程中，居民应提供详细的噪音描述、发生时间、地点以及受影响的程度等信息，以便相关部门进行调查和处理。
• 协商调解：居民也可以尝试与工厂进行协商、调解，要求工厂采取措施减少噪音污染。
• 法律途径：若上述途径均无法解决问题，居民还可以考虑通过法律途径维护自己的合法权益，如提起民事诉讼等。

综合建议： 工厂噪音扰民问题是一个涉及多个部门管理的复杂问题，需要各部门协同合作，共同维护居民的生活环境。建议政府加强部门间的协调与合作，建立有效的联动机制，确保居民在遭遇噪音扰民时能够得到及时、有效的处理。同时，工厂也应增强环保意识和社会责任感，主动采取措施减少噪音排放，为周边居民创造一个安静、舒适的生活环境。

如有任何进一步的问题或需要具体的法律帮助，请随时向我咨询。