结论：人事不可以随意调换员工座位，是否能够调换员工座位需根据具体情况判断，具体如下：
劳动合同或公司规章制度有明确规定的情况：
- 如果劳动合同中明确约定了员工的工作地点、工位等内容，或者公司规章制度中详细规定了座位调换的条件、程序等，那么人事调换员工座位需要遵循这些规定。例如，若规定因工作需要调换座位需提前与员工协商一致，那么人事就不能单方面随意调换，否则可能构成违约或违反规章制度，员工有权拒绝。
- 若劳动合同或规章制度赋予了人事在一定条件下单方面调换座位的权利，如基于公司整体布局调整、部门重组等合理原因，且人事按照规定的程序进行操作，那么这种调换是合法的。
劳动合同和公司规章制度均无明确规定的情况：
- 在这种情况下，人事调换员工座位需要遵循合理、公平、自愿的原则。如果调换座位没有合理的理由，如仅仅是因为人事的个人喜好或者对某个员工有偏见而进行调换，这种行为可能侵犯员工的合法权益，员工可以与公司进行沟通协商，要求恢复原座位或者给予合理的解释和补偿。
- 如果调换座位是基于合理的经营需要，如为了优化办公环境、提高工作效率等，且调换后对员工的工作没有造成实质性的不利影响，那么这种调换通常是可以的。但即便如此，人事也最好提前与员工进行沟通，取得员工的理解和配合。