工厂施工扰民的问题，通常由当地的生态环境部门或者城市管理部门负责处理。以下是从不同角度对这一问题的详细分析：
生态环境部门：
- 法律依据：根据《中华人民共和国环境噪声污染防治法》的相关规定，生态环境部门负责环境噪声污染的防治和监督管理工作。工厂施工产生的噪声如果超过了国家规定的标准，就构成了环境噪声污染，生态环境部门有权进行查处。
- 处理方式：生态环境部门在接到投诉后，会进行现场调查，测量噪声水平，并根据测量结果对施工单位进行相应的处罚，如罚款、责令限期整改等。同时，他们也会要求施工单位采取降噪措施，以减少对周围居民的影响。
城市管理部门：
- 职责范围：城市管理部门通常负责城市管理和综合执法工作，包括对施工活动的监管。如果工厂施工扰民的问题涉及到施工时间、施工方式等违反城市管理规定的情况，城市管理部门也有权进行查处。
- 处理方式：城市管理部门在接到投诉后，会进行现场勘查，了解施工活动的具体情况。如果发现施工单位存在违规行为，如超时施工、未采取有效降噪措施等，他们会要求施工单位立即停止违规行为，并可能对其进行罚款或其他处罚。
在实际操作中，您可以按照以下步骤处理工厂施工扰民的问题：
- 收集证据：首先，您需要收集一些证据来证明工厂施工确实对您造成了扰民的影响，如拍摄施工噪声的视频、记录施工时间等。
- 向相关部门投诉：然后，您可以向当地的生态环境部门或城市管理部门投诉，提供您收集的证据，并详细描述施工扰民的情况。
- 跟进处理结果：投诉后，您可以跟进相关部门的处理结果，了解他们是否对施工单位进行了查处，以及查处的情况如何。
如果相关部门未能及时处理或处理结果不满意，您还可以考虑以下途径：
- 寻求法律援助：如果施工扰民问题严重影响了您的生活质量，且相关部门未能有效解决，您可以考虑寻求法律援助，通过法律途径维护自己的权益。
- 联合其他受影响居民：如果有多户居民都受到了工厂施工扰民的影响，您可以联合其他居民一起向相关部门投诉或寻求法律援助，以增强维权的力量。
希望以上分析能对您有所帮助。如果您在处理工厂施工扰民问题时遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。