结论：公司要求退还工资是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、若员工存在旷工等违反公司规章制度的行为
法律依据：
- 根据《中华人民共和国劳动合同法》第三十九条，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。同时，若规章制度中明确规定了旷工等行为的处罚措施，包括扣减工资或要求退还已支付工资，且该规章制度经过民主程序制定并已告知劳动者，那么公司可能依据此规定要求员工退还工资。
实际情况分析：
- 如果员工确实存在旷工行为，且公司规章制度中有明确规定，同时该规定合法有效，那么公司要求员工退还旷工期间的工资可能是合法的。但需要注意的是，公司不能随意扩大扣减工资的范围或金额，必须遵循合法、合理、公平的原则。
二、若员工虽打卡但未实际在岗，且不属于旷工等明确违反规章制度的行为
法律依据：
- 在此情况下，公司要求员工退还工资可能缺乏直接的法律依据。因为打卡记录只能证明员工按时到达了工作地点，但不能直接证明员工是否实际在工作岗位上履行了工作职责。除非公司有充分的证据证明员工存在故意不在岗、偷懒等行为，且这些行为严重违反了公司的规章制度或劳动合同约定。
实际情况分析：
- 如果员工只是偶尔因个人原因（如上厕所、短暂休息等）离开工作岗位，且未影响正常工作秩序和效率，那么公司要求员工退还工资可能是不合理的。此外，如果公司无法提供充分证据证明员工存在故意不在岗的行为，那么其要求退还工资的主张也可能难以得到法律支持。
三、建议与注意事项
对于员工：
- 应严格遵守公司的规章制度和劳动合同约定，按时到岗并履行工作职责。如果因特殊原因需要离开工作岗位，应及时向公司请假或说明情况。
- 如果公司要求退还工资，员工应要求公司出具书面通知，并明确退还工资的理由和依据。如果认为公司的要求不合理或违法，可以向劳动监察部门投诉或申请劳动仲裁。
对于公司：
- 应制定完善的规章制度和劳动合同条款，明确员工的职责和义务以及违反规定的处罚措施。同时，应确保规章制度的制定过程合法合规，并已告知员工。
- 在要求员工退还工资时，应提供充分的证据证明员工存在违反规章制度或劳动合同约定的行为。如果无法提供充分证据，应谨慎处理此事，避免引发劳动争议和法律风险。
总结：公司要求员工退还工资是否合法，需根据具体情况判断。如果员工存在旷工等明确违反规章制度的行为，且公司规章制度中有明确规定且合法有效，那么公司要求退还工资可能是合法的。但如果员工只是偶尔因个人原因离开工作岗位且未影响正常工作秩序和效率，或者公司无法提供充分证据证明员工存在故意不在岗的行为，那么公司要求退还工资可能是不合理的。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。