关于施工几点算扰民的问题，结论前置如下：
一般规定：在居民区，通常认为晚上二十二点（22:00）至早上六点（6:00）为夜间时段，此期间内进行产生环境噪声污染的建筑施工作业，原则上构成扰民。但这一时间标准可能因地区而异，需结合当地具体规定。
特殊情况：若因生产工艺要求或特殊需要（如抢修、抢险作业）必须连续作业的，施工单位需持有县级以上人民政府或其有关主管部门的证明，并提前公告附近居民，此时即使超出一般规定的施工时间，也不视为扰民。
详细解释与法律依据：
一、一般规定下的施工时间
昼间施工时间：根据普遍规定及《中华人民共和国环境噪声污染防治法》，昼间施工时间为早上6点（含）至晚上10点（22:00）。此期间内进行建筑施工活动，若采取有效降噪措施，通常不被视为扰民。
夜间施工时间：夜间施工时间为晚上10点（22:00）至次日早上6点。原则上，此期间内禁止进行产生环境噪声污染的建筑施工作业，以保障居民的休息权益。
二、特殊情况下的施工时间调整
抢修抢险作业：因生产工艺上要求或者特殊需要必须连续施工作业的，如抢修、抢险作业，施工单位需持有相关证明，并提前公告附近居民。在此情况下，即使超出了一般规定的施工时间，也不视为扰民。
夜间施工许可：在某些特殊情况下，如因工艺要求或特殊需要必须在夜间施工的，施工单位需向环保部门申请夜间施工许可证，并采取有效的降噪措施，以减轻对周围居民的影响。
三、地方规定差异
不同地区可能根据当地实际情况，制定了更为具体的施工时间限制规定。例如：
北京市：法定休息日、节假日全天及工作日12时至14时、18时至次日8时，禁止在已竣工交付使用的住宅楼内进行产生噪声的装修等扰民作业。
上海市：每日18时至次日8时以及法定节假日（不含双休日）全天，不得在已交付使用的住宅楼内进行产生噪声的装修作业。
广州市：在已竣工交付使用的住宅楼宇内，禁止在12:00至14:00、22:00至次日7:00从事产生噪音、振动的室内装修活动。
四、居民权益保护与投诉途径
若发现施工单位违反施工时间规定，产生噪声扰民的情况，居民有权向生态环境主管部门或其他负有噪声污染防治监督管理职责的部门进行投诉、举报。这是维护自身合法权益的有效途径。
建议与总结：
施工单位在进行建筑施工时，应严格遵守相关法律法规关于施工时间和噪音限制的规定，特别是在特殊区域和夜间施工时需特别注意，以避免扰民行为的发生。同时，居民也应了解自己的合法权益，并在必要时采取合法途径维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。