结论：公司能否要求职工退回五年未上班期间发放的工资，需根据具体情况判断，主要取决于职工未上班的原因以及公司发放工资的依据和性质。以下从不同角度进行分析：

一、职工未上班的原因

1. 职工无故旷工：

   • 如果职工无正当理由长期旷工，公司原本有权依据规章制度或劳动合同对其进行处理，包括解除劳动合同并不支付工资。
   • 但若公司在此情况下仍持续发放工资，可能构成对职工旷工行为的默许或管理上的疏忽。此时，公司要求退回工资可能面临法律上的困难，因为公司未能及时行使管理权，且工资已实际支付给职工。

2. 职工因病或非因工负伤：

   • 根据《企业职工患病或非因工负伤医疗期规定》，职工在医疗期内享有病假工资或疾病救济费。
   • 如果职工因病或非因工负伤未上班，且处于医疗期内，公司发放工资是合法的。此时，公司无权要求退回工资。
   • 若医疗期满后，职工仍不能从事原工作也不能从事由用人单位另行安排的工作，公司可以解除劳动合同，但在此之前发放的工资无需退回。

3. 职工处于停工留薪期：

   • 如果职工因工受伤或患职业病，在停工留薪期内，原工资福利待遇不变，由所在单位按月支付。
   • 在此情况下，公司发放工资是法定义务，无权要求退回。

4. 其他特殊情况：

   • 如职工因公司安排或双方协商一致未上班，且公司同意支付工资的，公司也无权要求退回工资。

二、公司发放工资的依据和性质

1. 公司错误发放：

   • 如果公司因管理疏忽或系统错误等原因，错误地向未上班的职工发放了工资，公司有权要求职工退回多发的工资。
   • 但公司需提供充分证据证明工资发放错误，且职工应配合退回。

2. 公司自愿发放：

   • 如果公司出于某种原因（如维护劳动关系、避免劳动纠纷等）自愿向未上班的职工发放工资，且没有明确的法律依据或合同约定要求职工必须上班作为领取工资的条件，公司可能难以要求退回工资。
   • 因为在此情况下，工资发放被视为公司对职工的一种赠与或补偿，而非基于劳动关系的对价支付。

三、法律建议

1. 对于公司：

   • 应建立健全的考勤和工资管理制度，及时对旷工等违规行为进行处理，避免长期默许职工未上班而持续发放工资的情况发生。
   • 如果发现错误发放工资或需要要求职工退回工资的情况，应及时与职工沟通并收集相关证据，必要时可通过法律途径解决。

2. 对于职工：

   • 应遵守公司的规章制度和劳动合同约定，按时上班并履行工作职责。
   • 如果因特殊原因无法上班，应及时与公司沟通并办理相关手续（如病假、事假等），避免无故旷工。
   • 如果公司要求退回工资，应了解具体原因并配合处理，如有异议可寻求法律帮助。

总结：公司能否要求职工退回五年未上班期间发放的工资，需根据职工未上班的原因以及公司发放工资的依据和性质进行综合判断。在处理此类问题时，建议双方保持沟通并寻求法律帮助以维护自身合法权益。如有具体法律问题，可直接向我咨询。