关于几点开始施工不算扰民的问题，结论前置如下：

1. 正常施工时间：在城市市区噪声敏感建筑物集中区域内，通常认为早上6点（含）至晚上10点（22:00）为正常施工时间，此期间内进行建筑施工活动一般不被视为扰民。但需注意，不同施工阶段和区域可能有具体的噪声排放限值，施工单位需确保施工噪音符合相关标准。

2. 禁止施工时间：晚上10点（22:00）至次日早上6点，原则上禁止进行产生环境噪声污染的建筑施工作业。这是为了保障居民的休息权，减少施工噪音对居民生活的影响。

详细分析：

• 正常施工时间的法律依据：

  • 根据《中华人民共和国环境噪声污染防治法》的相关规定，昼间施工时间为早上6点至晚上10点，此期间内进行建筑施工活动通常被认为是允许的正常作业时间。但施工单位需遵守噪声排放标准，确保施工噪音不会对周围居民造成不必要的干扰。

• 禁止施工时间的例外情况：

  • 夜间施工时间（晚上10点至次日早上6点）原则上禁止进行产生环境噪声污染的建筑施工作业。但存在例外情况，如因生产工艺要求或特殊需要必须连续作业的，施工单位应持有县级以上人民政府或其有关主管部门的证明，并提前公告附近居民。这包括城市重大基础设施建设、抢险救灾等紧急工程。

• 施工噪音的限制：

  • 即使在正常施工时间内，施工单位也需控制施工噪音，确保符合国家标准。不同施工阶段和区域可能有具体的噪声排放限值，如土石方施工昼间噪音限值为75分贝，打桩施工昼间噪音限值为85分贝等。施工单位应采取有效措施，如使用低噪声设备、设置隔音屏障等，减少施工噪音对周围居民的影响。

• 地区差异与特殊规定：

  • 不同地区可能根据当地实际情况制定更为严格的噪声污染防治办法。例如，部分地区可能规定在法定休息日、节假日全天及工作日特定时段内禁止进行产生噪声的装修作业。因此，施工单位在施工前需查阅当地法规或咨询环保部门，了解具体的施工时间限制和噪声控制标准。

• 居民权益保护与投诉途径：

  • 若施工单位违反规定，在禁止时间施工或噪声超标，居民有权向当地生态环境主管部门投诉举报。居民可以要求责令施工单位改正，并可处以罚款等行政处罚。同时，居民也可以与施工单位沟通协商，寻求合理的解决方案。

建议：

• 施工单位在进行建筑施工时，应严格遵守相关法律法规关于施工时间和噪音限制的规定。特别是在特殊区域和夜间施工时需特别注意，以避免扰民行为的发生。
• 居民也应了解自己的合法权益，并在必要时采取合法途径维护自身权益。如遇施工扰民情况，可以及时向环保部门或公安机关投诉举报。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。