安全员不在施工现场是否违法，需结合具体情况判断，但通常来说，安全员不在岗可能违反安全生产管理规定，并可能面临相应的法律责任。以下从不同角度进行分析：
从安全生产管理规定角度：
- 根据《中华人民共和国安全生产法》及相关规定，施工单位应当设置安全生产管理机构或者配备专职安全生产管理人员，负责施工现场的安全生产管理工作。安全员作为专职安全生产管理人员，其职责包括监督施工现场的安全生产情况，确保各项安全措施得到落实。
- 如果安全员不在施工现场，可能导致施工现场的安全生产管理出现漏洞，无法及时发现和纠正安全隐患，从而增加事故发生的风险。因此，安全员不在岗可能被视为违反安全生产管理规定的行为。
从法律责任角度：
- 行政责任：如果安全员不在施工现场，且因此导致施工现场存在安全隐患或发生安全事故，安全员及施工单位可能面临行政处罚，如罚款、责令停产停业整顿等。具体处罚措施将依据事故的严重程度和违规情节的严重性而定。
- 刑事责任：在极端情况下，如果安全员的不在岗行为直接导致重大安全事故的发生，且该行为构成犯罪（如玩忽职守罪），安全员可能面临刑事责任的追究。
从实际操作角度：
- 施工单位应建立健全安全生产管理制度，明确安全员的职责和在岗要求。同时，应加强对安全员的培训和考核，确保其具备履行职责的能力和素质。
- 如果安全员因特殊原因需要离开施工现场，应提前向施工单位报告，并安排其他合格的安全管理人员代班，以确保施工现场的安全生产管理不受影响。
综合建议：
- 对于施工单位而言，应严格遵守安全生产管理规定，确保安全员在岗履职，加强施工现场的安全生产管理。
- 对于安全员而言，应认真履行职责，加强施工现场的安全巡查和隐患排查工作，及时发现和纠正安全隐患。
- 如果遇到安全员不在施工现场的情况，施工单位应及时采取措施弥补管理漏洞，并向相关部门报告。同时，应加强对安全员的监督和管理，防止类似情况再次发生。
如有任何关于建设工程安全生产管理方面的法律问题或疑虑，请直接向我咨询，我会为你提供专业、全面的法律解答。