在调岗没有合理性时，公司以擅自离开工作岗位记过通常是不合法的。以下从不同角度对此问题进行分析：

一、调岗的合法性基础

1. 劳动合同约定：根据《劳动合同法》的相关规定，劳动合同应当明确约定工作内容和工作地点。如果劳动合同中明确规定了员工的工作岗位，那么公司未经员工同意擅自调岗，可能构成违约。
2. 调岗的合理性：即使劳动合同中没有明确约定工作岗位，公司调岗也需要具有合理性。这通常包括调岗是基于公司的经营需要、员工无法胜任原有岗位、或者调岗后员工的薪资待遇和岗位性质没有发生实质性变化等因素。如果调岗没有合理性，比如调岗具有侮辱性或惩罚性质，或者调岗后员工的薪资待遇大幅下降，那么这种调岗行为可能是不合法的。

二、公司以擅自离开工作岗位记过的合法性

1. 员工行为性质：在调岗没有合理性的情况下，员工拒绝到新岗位工作，并不构成擅自离开工作岗位。因为员工有权拒绝不合理的调岗安排，这是员工维护自身合法权益的一种表现。
2. 公司记过的合法性：公司以员工擅自离开工作岗位为由记过，需要基于员工确实存在擅自离开工作岗位的行为，并且这种行为违反了公司的规章制度。然而，在调岗没有合理性的情况下，员工拒绝到新岗位工作并不构成擅自离开工作岗位，因此公司以此为由记过是不合法的。

三、员工的应对措施

1. 与公司协商：如果员工认为公司的调岗行为不合理，可以首先与公司进行协商，要求公司撤销不合理的调岗安排。
2. 申请劳动仲裁：如果协商无果，员工可以向劳动仲裁机构申请劳动仲裁，要求确认公司的调岗行为违法，并撤销因此产生的记过等处罚。
3. 寻求法律援助：在申请劳动仲裁过程中，员工可以寻求法律援助，比如咨询专业律师，以更好地维护自己的合法权益。

四、可能的法律后果

1. 公司承担法律责任：如果公司的调岗行为被认定为违法，公司可能需要承担相应的法律责任，比如撤销调岗决定、恢复员工原有工作岗位、赔偿员工因此遭受的损失等。
2. 员工权益得到保障：通过申请劳动仲裁等法律途径，员工的合法权益可以得到有效保障，避免因不合理的调岗行为而遭受损失。

建议：在面对不合理的调岗行为时，员工应保持冷静，通过合法途径维护自己的权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。