施工噪音扰民并非一定可以不予行政处罚，是否处罚取决于具体情况和法律规定。以下从多个角度进行分析：
一、法律规定角度
根据《中华人民共和国环境噪声污染防治法》的相关规定，建筑施工过程中产生的噪声如果超过国家规定的环境噪声排放标准，并干扰他人正常生活、工作和学习，就构成了环境噪声污染，应当受到相应的行政处罚。这意味着，如果施工噪音确实超标且扰民，那么相关责任方是需要接受行政处罚的。
二、特殊情况角度
当然，也存在一些特殊情况，可能使得施工噪音扰民行为不被行政处罚或者处罚较轻。例如：
紧急抢修或抢险作业：在紧急情况下，如水管爆裂、燃气泄漏等，为了保障公共安全或避免更大损失，可能需要进行紧急抢修或抢险作业。这种情况下产生的噪音，如果事先已经采取了合理的降噪措施，并且事后及时向相关部门报告，那么可能不会被视为违法行为，或者处罚会相对较轻。
符合特定条件的夜间施工：有些施工项目可能因为工艺要求或施工进度需要，必须在夜间进行。如果施工单位已经按照相关规定办理了夜间施工许可证，并且采取了有效的降噪措施，那么即使夜间施工产生了一定的噪音，也可能不会被视为违法行为。但需要注意的是，即使符合这些条件，如果噪音仍然严重扰民，相关部门仍然有权要求施工单位采取进一步措施或者进行处罚。
三、行政处罚的免除或减轻条件
在行政处罚的实践中，还存在一些可以免除或减轻处罚的条件。例如：
主动消除或减轻违法行为危害后果：如果施工单位在发现噪音扰民问题后，主动采取了措施进行整改，如增加降噪设备、调整施工时间等，并且有效减轻了噪音对周边居民的影响，那么相关部门在处罚时可能会考虑这一因素，对施工单位进行从轻或减轻处罚。
配合行政机关查处违法行为有立功表现：如果施工单位在配合相关部门查处噪音扰民问题时，提供了有价值的线索或协助，使得案件得以快速处理或取得更好的社会效果，那么这也可能成为减轻处罚的理由。
四、建议与提醒
对于施工单位来说，为了避免因施工噪音扰民而受到行政处罚，建议采取以下措施：
严格遵守相关法律法规：确保施工过程中的噪音排放符合国家规定的标准。
加强降噪措施：采用先进的降噪技术和设备，减少施工噪音的产生和传播。
与周边居民沟通：在施工前与周边居民进行沟通，了解他们的需求和意见，尽量调整施工时间或采取其他措施减少对他们的影响。
及时整改问题：如果发现噪音扰民问题，应立即采取措施进行整改，并向相关部门报告。
如果您或您身边的人遇到了施工噪音扰民的问题，并且对是否会受到行政处罚有疑问，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。