工厂频繁抓离岗时间是否合理，需分情况讨论，具体分析如下：

1. 若工厂规章制度合法且已公示，且对离岗时间有明确规定
   根据《劳动合同法》第四条，用人单位有权制定规章制度，但需满足三个条件：内容合法（不违反法律强制性规定）、民主程序制定（经职工代表大会或全体职工讨论）、公示告知（如通过培训、签字确认等方式让员工知晓）。若工厂的离岗时间规定符合上述条件，例如明确规定“单次离岗不得超过10分钟，每日累计不超过30分钟”，且员工已签字确认，则工厂有权依据制度对超时离岗行为进行管理，包括警告、扣绩效等合理措施。但需注意，扣工资需符合《工资支付暂行规定》第十六条，即因员工过错造成经济损失时，每月扣除部分不得超过工资的20%，且扣除后工资不得低于当地最低工资标准。

2. 若工厂规章制度不合法或未公示，或对离岗时间的规定不合理
   若工厂未通过民主程序制定制度，或未向员工公示（如未培训、未签字确认），则该制度对员工不产生约束力。此外，即使制度合法，若对离岗时间的规定过于严苛（如“禁止任何离岗，包括喝水、上厕所”），可能违反《劳动法》第三十八条关于“劳动者享有获得劳动安全卫生保护的权利”以及《安全生产法》中关于“保障劳动者生理需求”的规定。此时，工厂以“离岗超时”为由处罚员工可能构成违法，员工有权通过劳动仲裁主张权利。

3. 工厂管理方式需符合比例原则
   即使制度合法，工厂在执行时也需遵循“比例原则”，即处罚措施应与违规行为严重程度相适应。例如，员工仅超时离岗2分钟，工厂却直接解除劳动合同，可能被认定为“违法解除”，需支付赔偿金（2N）。若工厂仅通过口头警告、书面检讨等方式处理轻微违规，则更符合合理管理范畴。

建议：

• 若您认为工厂制度不合法或执行过当，可先与工厂协商，要求出示制度文本及公示证据；
  
• 若协商无果，可向当地劳动监察大队投诉（如制度未公示、扣工资违法等），或申请劳动仲裁（如主张违法解除、要求赔偿等）；
  
• 保留相关证据（如考勤记录、工资条、制度文本、处罚通知等），以便维权时使用。
  

如有进一步疑问，可直接向我咨询具体细节。