施工噪音扰民的第一责任人通常是施工单位。以下是对此问题的详细分析：

一、施工单位作为直接责任人的法律依据

根据《中华人民共和国噪声污染防治法》第七十七条，施工单位若未按规定采取措施防止噪声污染，或未经批准在夜间进行产生噪声的建筑施工作业，将由工程所在地人民政府指定的部门责令改正，并处以罚款；若拒不改正，还可能被责令暂停施工。这一条款明确指出了施工单位在施工噪音扰民问题中的直接责任。

二、施工单位责任的具体表现

1. 未采取降噪措施：施工单位在施工过程中，若未使用低噪音设备、未设置隔音屏障或未合理安排高噪音工序时段，导致噪音超标，将承担直接责任。
2. 夜间违规施工：未经批准在夜间进行产生噪声的建筑施工作业，也是施工单位常见的违规行为，同样会受到法律的制裁。

三、其他可能涉及的责任主体

虽然施工单位是施工噪音扰民的第一责任人，但在某些情况下，其他主体也可能承担一定责任：

1. 建设单位：若建设单位将工程发包给无资质或管理不善的施工单位，导致噪音超标，建设单位需承担连带责任。例如，因选用不合规分包商而引发居民投诉的情况，建设单位就可能被追究管理责任。
2. 监理单位：监理单位负责监督施工过程是否符合环保规定。若监理单位未尽到职责，导致噪音问题，也可能被追究失职责任。

四、受害者的维权途径

若居民遭遇施工噪音扰民问题，可采取以下维权途径：

1. 协商调解：通过社区居委会或业主委员会与施工方沟通，要求调整作业时间或采取降噪措施。
2. 行政投诉：向当地生态环境局、住建局或城管局提交书面投诉材料，附噪音监测记录（如有）。这些部门将依法对违规施工单位进行查处。
3. 法律诉讼：若协商无果，居民可依据《民法典》侵权责任编向法院起诉，要求停止侵害并赔偿损失。在此过程中，居民需提供医疗证明、精神损害鉴定等材料来支持自己的诉求。

五、预防与管理建议

为减少施工噪音扰民问题的发生，建议采取以下措施：

1. 源头控制：施工方应使用低噪音设备、设置隔音屏障，并合理安排高噪音工序时段。
2. 政府监管：加强夜间施工许可审批，建立黑名单制度惩戒违规企业。
3. 公众参与：社区可通过公告栏公示施工计划，设立24小时投诉热线增强监督。

综上所述，施工噪音扰民的第一责任人通常是施工单位。然而，在特定情况下，建设单位和监理单位也可能承担一定责任。若居民遭遇此类问题，可通过协商调解、行政投诉或法律诉讼等途径来维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。