工厂施工噪音扰民的管理涉及多个部门，主要包括生态环境主管部门、城市管理部门（含城市管理综合执法）、公安机关以及住房和城乡建设部门。以下是对各部门职责及应对措施的详细说明：

一、各部门职责

1. 生态环境主管部门

   • 职责：负责监督工地施工噪音是否符合国家噪声排放标准，对超标排放噪音的行为进行查处。施工单位在工程开工前需向生态环境主管部门申报项目信息，包括可能产生的环境噪声值及防治措施。
   • 法律依据：根据《中华人民共和国噪声污染防治法》的相关规定，生态环境主管部门有权对排放环境噪声的单位进行现场检查，并对超标噪音行为责令整改并依法处罚。

2. 城市管理部门（含城市管理综合执法）

   • 职责：在一些地区，城市管理部门负责管理建筑工地的施工秩序，对因施工导致的噪音扰民等行为进行监管。城市管理综合执法部门则依据地方立法或政府职能划分，负责查处工地噪声扰民的违法行为。
   • 处理方式：对夜间等禁止施工时段违规施工产生的噪音进行制止和处罚，对不规范施工行为进行劝导、制止，并依法处罚违规行为。

3. 公安机关

   • 职责：负责处理因施工噪音引发的治安问题，对严重扰民的噪音行为进行警告、罚款等处罚。
   • 法律依据：根据《中华人民共和国噪声污染防治法》及相关治安管理法规，公安机关有权对违反治安管理规定的施工噪音行为进行处罚。

4. 住房和城乡建设部门

   • 职责：对建筑工地的施工活动进行监督管理，包括夜间施工审批等。若工地噪声扰民是由于未落实文明施工要求导致的，住建部门可采取相应管理措施。
   • 处理方式：对违反建筑施工规定的行为责令停工整改、暂扣施工许可证等，以加强施工活动的规范性和合法性。

二、居民应对措施

1. 沟通协商：遇到工厂施工噪音扰民问题时，首先尝试与施工单位进行沟通协商，要求其采取措施降低噪音，如调整施工时间、使用低噪音设备等。

2. 投诉举报：若沟通无果或噪音问题依然严重，可向当地生态环境主管部门、城市管理部门（含城市管理综合执法）或公安机关进行投诉举报。投诉时应提供详细的噪音发生时间、地点及影响程度等信息，以便相关部门进行调查处理。

   • 投诉途径：
     • 拨打当地环保部门的投诉热线；
     • 通过网络平台提交投诉信息；
     • 联系当地城市管理部门或公安机关；
     • 向住房和城乡建设部门反映问题。

3. 法律维权：若相关部门未能有效处理噪音问题，或噪音污染造成了实际损害（如影响居民健康、造成财产损失等），受害者可通过法律途径维护自身权益。例如，向法院提起民事诉讼，要求施工单位承担赔偿责任。

三、综合建议

• 记录噪音情况：建议居民在遭遇施工噪音扰民时，详细记录噪音发生的时间、强度等信息，以便后续投诉或法律诉讼时使用。
• 选择适当部门投诉：根据噪音的具体情况和影响，选择向最有可能解决问题的部门进行投诉，以提高处理效率。
• 关注后续处理：在投诉后，关注相关部门的处理进展和结果，确保问题得到有效解决。

综上所述，工厂施工噪音扰民的管理是一个涉及多个部门协作的综合治理过程。居民在遇到此类问题时，应了解各相关部门的职责和法律依据，采取合适的应对措施来维护自身的生活环境不受噪音污染的影响。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。