关于工人作业时间几点算扰民行为，明确结论如下：

1. 夜间施工扰民的界定：

   • 根据《中华人民共和国环境噪声污染防治法》第三十条的规定，在城市市区噪声敏感建筑物集中区域内，夜间（晚22点至晨6点）进行产生环境噪声污染的建筑施工作业，原则上是被禁止的，若未经批准或未采取有效措施减轻影响，通常会被认定为扰民。

2. 特殊情况下的夜间施工：

   • 抢修、抢险作业，或因生产工艺上要求（如混凝土连续浇筑等），或有特殊需要必须连续作业的，可以构成夜间施工的例外情况。
   • 对于这些特殊情况下的夜间施工，施工单位需提前向附近居民公告施工的具体情况，包括施工原因、预计持续时间等，并需持有县级以上人民政府或其有关主管部门的证明，以证实施工的必要性和合法性。

3. 地方规定的差异：

   • 除了国家层面的统一规定外，一些地方政府可能会根据当地的实际情况和具体需求，对工地施工时间作出更为具体或严格的规定。例如，在特定的节假日、考试期间等，可能会对施工时间有进一步的限制，甚至白天施工也需要控制噪声强度。

法律背景与建议：

• 法律背景：工地施工扰民时间的界定主要依据国家层面的《中华人民共和国环境噪声污染防治法》，并需考虑地方政府的特定规定。这些规定旨在保护居民的生活环境和健康，防止因施工噪声造成的扰民现象。

• 建议：

  • 如果你遭遇了工地噪声扰民的情况，首先可以向当地的环保或城管部门投诉，他们会根据具体情况进行调查和处理。
  • 在投诉过程中，可以引用上述相关法律法规作为依据，要求相关部门依法处理，并关注地方政府的特定规定，以确保自己的权益得到充分保护。
  • 同时，也可以与施工单位进行沟通协商，看是否能够达成双方都能接受的解决方案，如调整施工时间、采取降噪措施等。

可能法律后果：

• 如果施工单位未经批准或未采取有效措施在夜间进行产生噪声的作业，可能会面临环保或城管部门的处罚，包括罚款、责令停工等。
• 对于因施工噪声造成的扰民现象，居民也有权要求施工单位承担相应的民事责任，如赔偿损失等。

综上所述，工地施工扰民时间的界定需综合考虑国家层面的法律规定和地方政府的特定规定。在遭遇扰民情况时，应依法维权，通过正规渠道投诉并寻求法律支持。如果你有任何进一步的法律问题或需要更具体的建议，请直接向我咨询。