安全员不在施工现场是否违法，需结合具体情况判断，但通常而言，安全员不在岗可能违反安全生产管理规定，并可能面临相应的法律责任。以下从不同角度详细分析：

1. 从安全生产管理规定角度：

   • 根据《中华人民共和国安全生产法》及相关建设工程安全生产管理条例，施工单位应当设置安全生产管理机构或者配备专职安全生产管理人员，对施工现场进行安全生产管理和监督。安全员作为专职安全生产管理人员，其职责包括监督施工现场的安全生产情况，确保各项安全措施得到落实。
   • 若安全员不在施工现场，可能导致施工现场的安全生产管理出现漏洞，无法及时发现和纠正安全隐患，从而增加事故发生的风险。这种情况下，安全员未履行其法定职责，可能构成违法。

2. 从法律责任角度：

   • 行政责任：如果安全员不在施工现场导致施工现场存在安全隐患或发生安全事故，安全员及施工单位可能面临行政处罚，如罚款、责令停产停业整顿等。具体处罚措施将依据事故的严重程度和违规情节的严重性而定。
   • 民事责任：若因安全员不在岗导致事故发生，造成人员伤亡或财产损失，安全员及施工单位可能需承担民事赔偿责任。这包括赔偿受害者的医疗费用、误工费、财产损失等。
   • 刑事责任：在极端情况下，如果安全员不在岗导致重大安全事故发生，且情节特别恶劣，安全员及施工单位的相关责任人员可能构成犯罪，依法追究刑事责任。

3. 从实际操作角度：

   • 施工单位应确保安全员在施工现场履行其职责，包括定期巡查、监督安全措施的执行、组织安全教育培训等。如果安全员因特殊原因需要离开施工现场，应安排其他合格的安全管理人员代班，并确保施工现场的安全生产管理不受影响。
   • 安全员自身也应增强责任心，严格遵守安全生产管理规定，确保在施工现场履行其职责。如果因个人原因无法到岗，应及时向施工单位报告并安排代班人员。

综合建议：

• 施工单位应加强对安全员的管理和培训，提高其安全意识和责任心，确保安全员在施工现场履行其职责。
• 安全员应严格遵守安全生产管理规定，确保在施工现场在岗在位，及时发现和纠正安全隐患。
• 如果安全员因特殊原因需要离开施工现场，应提前安排好代班人员，并确保代班人员具备相应的资质和能力。

如有任何关于建设工程安全生产管理的法律问题或疑虑，欢迎直接向我咨询。