施工扰民确实属于违法行为，这主要基于以下几个方面的法律分析：

1. 《中华人民共和国噪声污染防治法》的相关规定：

   • 第七十七条明确指出，建设单位、施工单位若未按照规定设置噪声自动监测系统，未与监督管理部门联网，或者未保存原始监测记录，以及超过噪声排放标准进行施工，或在禁止施工的时段进行产生噪声的建筑施工作业，将面临一万元以上十万元以下的罚款。若拒不改正，还可能被责令暂停施工。
   • 第七十八条进一步规定，施工单位若未按照规定制定噪声污染防治实施方案，或未采取有效措施减少振动、降低噪声，也将受到五千元以上五万元以下的罚款处罚。
   • 第八十一条则针对排放噪声造成严重污染，且被责令改正却拒不执行的情况，生态环境主管部门或其他负有噪声污染防治监督管理职责的部门可以采取查封、扣押等严厉措施。

2. 《中华人民共和国治安管理处罚法》的相关规定：

   • 第五十八条规定，如果施工单位违反关于社会生活噪声污染防治的法律规定，制造噪声干扰他人正常生活，公安机关有权给予警告处分；若警告后不改正，可处二百元以上五百元以下罚款。

3. 施工扰民的界定与具体情形：

   • 施工扰民通常指的是在施工过程中产生的噪声、振动、扬尘等对周边居民生活环境造成不良影响的行为。其中，噪声污染是最常见且影响显著的问题。
   • 例如，凌晨三点进行工地施工，除非属于抢修、抢险作业或因生产工艺特殊要求必须连续作业并已取得相关部门证明及提前公告，否则通常构成扰民行为。因为根据《中华人民共和国环境噪声污染防治法》的规定，在城市市区噪声敏感建筑物集中区域内，禁止夜间（晚22点至晨6点）进行产生环境噪声污染的建筑施工作业。

4. 应对措施与建议：

   • 协商沟通：受影响的居民可以与施工单位进行沟通协商，要求其采取措施减少噪声排放或调整施工时间。
   • 投诉举报：若协商无果，居民可以向当地环保部门、城管部门或公安机关投诉举报施工扰民行为。这些部门有权对违法施工行为进行查处，并要求工地整改。
   • 法律途径：在必要时，居民还可以通过法律途径维护自己的合法权益，如提起民事诉讼要求施工单位承担侵权责任等。

总结与建议：施工扰民行为不仅违反了相关法律法规，还严重损害了公民的合法权益。施工单位应严格遵守施工时间限制和噪声标准，采取有效措施减轻对周边居民的影响。同时，居民也应了解自己的权益和投诉途径，以便在遇到问题时能够及时维护自己的合法权益。如果您在施工扰民方面遇到任何问题或需要进一步的法律帮助，请随时向我咨询。