结论：单位以“擅自离岗”为由称您违法并对您进行恐吓，这一行为是否合法需结合具体情况判断，但单位无权仅凭此点就认定您违法并进行恐吓。

一、关于“擅自离岗”的认定

1. 定义与条件：

   • “擅自离岗”通常指的是员工未经单位批准，擅自离开工作岗位的行为。
   • 要认定员工“擅自离岗”，单位需有明确的规章制度，且该规章制度需经过民主程序制定并公示，同时员工需知晓该制度。

2. 您的行为是否构成“擅自离岗”：

   • 如果您是因合理原因（如紧急事务、健康问题等）暂时离开岗位，且已向单位说明情况或事后及时补假，那么您的行为可能不构成“擅自离岗”。
   • 如果您未经单位批准，无正当理由长时间离开岗位，那么您的行为可能构成“擅自离岗”。但即便如此，单位也无权直接称您违法并进行恐吓。

二、单位恐吓行为的合法性分析

1. 单位无权直接认定违法：

   • 只有法律机关（如法院、检察院等）才有权认定个人是否违法。单位作为民事主体，无权直接认定员工违法。

2. 恐吓行为的法律性质：

   • 如果单位以“擅自离岗”为由，对您进行威胁、恐吓，要求您承担不合理的责任或接受不公平的待遇，那么这种行为可能构成对您的侵权，您有权要求单位停止侵害并承担相应的法律责任。

三、您的应对策略

1. 收集证据：

   • 保留与单位沟通的记录（如邮件、短信、录音等），以证明您并未擅自离岗或已向单位说明情况。
   • 如果单位有恐吓您的行为，也请保留相关证据。

2. 与单位协商：

   • 尝试与单位进行友好协商，解释您的情况并寻求合理的解决方案。

3. 申请劳动仲裁或提起诉讼：

   • 如果协商无果，您可以向当地劳动仲裁机构申请劳动仲裁，要求单位纠正其违法行为并赔偿您的损失。
   • 如果对劳动仲裁结果不满，您还可以向法院提起诉讼。

四、法律建议

• 了解并遵守单位规章制度：作为员工，您应了解并遵守单位的规章制度，以避免不必要的纠纷。
• 及时沟通并保留证据：遇到问题时，及时与单位沟通并保留相关证据，以便在需要时维护自己的权益。
• 寻求法律帮助：如果您认为单位的做法侵犯了您的合法权益，不要犹豫，及时向我这样的专业律师寻求法律帮助。

总结：单位以“擅自离岗”为由称您违法并进行恐吓的行为，可能并不合法。您有权了解自己的权益并采取相应的措施来维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。