根据《中华人民共和国噪声污染防治法》及相关规定，扰民时间主要集中在夜间，通常为晚上十点至次日早晨六点，但具体起止时间可能因地区而异，由设区的市级以上人民政府另行规定。同时，噪音的分贝限制也是判断扰民的重要依据，超出规定分贝限制即构成扰民。以下是详细分析：

1. 社会生活噪声扰民：

   • 在噪声敏感建筑物集中区域，禁止夜间使用高音广播喇叭（紧急情况除外），并规定了公共场所活动应遵守的音量等规定。
   • 一类生活区域夜测50分贝以上，二类生活区域夜测65分贝以上，且时间超过晚上22点或至次日早6点的，视为扰民。居民区内户外允许噪音级昼间为50分贝，夜间为40分贝。

2. 施工噪声扰民：

   • 禁止夜间在噪声敏感建筑物集中区域进行产生噪声污染的施工作业（抢修、抢险及特殊需要除外）。
   • 正常施工时间为早6点至晚10点，此外时间施工且产生噪声污染属于扰民。特殊需要连续施工的，需取得相关部门证明并公示。

3. 商业经营活动噪声扰民：

   • 企业事业单位和其他经营管理者应采取优化布局、集中排放等措施，防止、减轻噪声污染。
   • 商业经营活动中使用设备、设施产生的噪声应符合国家环境噪声排放标准，夜间（晚22点至次日早6点）同样遵循噪声限制，避免干扰周边居民。

4. 综合规定：

   • 夜间时段长度通常为八小时，但具体起止时间由设区的市级以上人民政府规定。
   • 居住、文教机关为主的区域昼间噪音限值为55分贝、夜间为45分贝；居住、商业、工业混杂区昼间噪音限值为60分贝、夜间为50分贝。超出这些分贝限制即视为扰民。

5. 投诉与处罚：

   • 对于扰民行为，居民可以向当地环境保护部门投诉，或拨打110向公安部门举报。
   • 相关部门将根据具体情况进行调查处理，对扰民行为给予警告、罚款等处罚措施。

综上所述，判断扰民行为需综合考虑时间因素与噪音分贝限制。如果你遇到噪音扰民的情况，可以及时向相关部门投诉举报，以维护自身合法权益及公共安宁。