结论：安全管理人员擅自离岗，用人单位在符合法律规定和劳动合同约定的前提下，是可以进行调岗的。但具体能否调岗以及调岗的合法性，需结合实际情况和法律规定综合判断。
分析说明：
劳动合同约定：
- 首先，应查看劳动合同中是否有关于岗位调整、工作纪律以及擅自离岗处理的相关条款。如果劳动合同中明确规定了员工擅自离岗时，用人单位有权进行调岗，那么用人单位在履行相应程序后，是可以进行调岗的。
用人单位规章制度：
- 其次，用人单位的规章制度也是判断调岗合法性的重要依据。如果规章制度中明确规定了员工擅自离岗的处理方式，包括调岗，并且该规章制度已经经过民主程序制定、公示或告知员工，那么用人单位在依据规章制度进行调岗时，也是合法的。
调岗的合理性：
- 即使劳动合同和规章制度中都有关于调岗的规定，用人单位在进行调岗时，也需要确保调岗的合理性。这包括调岗后的工作内容、工作地点、薪资待遇等是否与原岗位相当，是否对员工造成了不合理的负担或歧视。如果调岗明显不合理，员工有权拒绝，并可能因此解除劳动合同并要求经济补偿。
擅自离岗的严重性：
- 擅自离岗的严重性也是判断调岗合法性的一个因素。如果员工擅自离岗的行为严重违反了用人单位的规章制度或劳动合同约定，给用人单位造成了重大损失或影响，那么用人单位在采取调岗等措施时，可能具有更充分的合法性依据。
法律建议：
对于用人单位：
- 在制定劳动合同和规章制度时，应明确规定员工擅自离岗的处理方式，包括调岗、解除劳动合同等，并确保这些规定符合法律法规的要求。
- 在进行调岗时，应确保调岗的合理性，避免对员工造成不合理的负担或歧视。
- 在采取调岗等措施前，应与员工进行充分沟通，解释调岗的原因和必要性，争取员工的理解和配合。
对于员工：
- 应严格遵守劳动合同和用人单位的规章制度，避免擅自离岗等行为。
- 如果对调岗有异议，应及时与用人单位沟通协商，表达自己的意见和诉求。
- 如果认为调岗不合理或违法，可以依法向劳动争议调解仲裁机构申请调解或仲裁，维护自己的合法权益。
可能后果：
- 如果用人单位未经合法程序或不合理地进行调岗，员工有权拒绝并可能因此解除劳动合同，同时要求用人单位支付经济补偿。
- 如果员工擅自离岗且严重违反用人单位的规章制度或劳动合同约定，用人单位有权依法解除劳动合同，且无需支付经济补偿。
如有更多关于劳动纠纷的问题，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。