结论前置：职工服刑期间单位发放的工资，一般情况下，若职工已被依法追究刑事责任且劳动合同已解除，单位有权要求退回服刑期间未提供劳动对应的工资部分；但若工资发放是基于职工之前的劳动成果且已合法取得，或单位规章制度、劳动合同无明确规定，则可能无需退回。具体需结合职工身份、判刑与工作关系、工资发放时间及单位规定等因素综合判断。
详细分析：
职工身份与判刑后果：
- 公职人员：若职工为公职人员，因犯罪被判刑后，通常会被依法开除公职。根据相关规定，其在判刑期间及之后已不具备继续领取工资的合法依据，因此单位有权要求退还判刑期间领取的工资。但如存在错误判决，后续经法定程序改判无罪的，公职人员的工资待遇应予以恢复和补发，之前领取的工资无需退还。
- 非公职人员：对于非公职人员，若单位规章制度或劳动合同中明确规定，员工因犯罪被判刑的，单位有权解除劳动合同并要求退还相关工资，则需按规定执行。若没有明确规定，且职工在判刑前已提供了正常劳动，单位应当支付相应工资，判刑后因无法正常履行工作职责，单位可根据实际情况处理，但一般无需退还之前正常工作期间已发放的工资。
判刑与工作关系的考量：
- 若判刑与工作直接相关（如职务犯罪），且单位能证明所发工资基于错误前提或违反规定，则可能需要退还。例如，职工因贪污受贿被判刑，其在职期间领取的工资中可能包含非法所得部分，这部分工资单位有权要求退还。
- 若判刑与工作无关，且单位无明确规定要求退还工资，则通常不需要退还。如职工因交通肇事罪被判刑，其工作性质与犯罪行为无直接关联，单位一般无权要求退还工资。
工资发放时间与犯罪行为时间的关系：
- 工资在判刑前已发放的，作为劳动者的合法财产，不受判刑影响，无需退还。这是基于“工资是劳动的对价”原则，职工在判刑前已提供了劳动，因此有权获得相应工资。
- 工资在判刑时尚未发放的，单位有权根据劳动合同约定及法律规定处理。如职工已被判刑且劳动合同已解除，单位可暂停发放工资或根据实际情况进行其他处理。
单位规章制度与劳动合同约定：
- 单位规章制度或劳动合同中若明确规定了员工因犯罪被判刑时工资的处理方式，如要求退还工资、解除劳动合同等，则需按规定执行。这是基于双方自愿达成的协议，具有法律约束力。
- 若单位规章制度或劳动合同中无明确规定，则需根据相关法律法规及原则进行综合判断。在此情况下，单位一般无权单方面要求退还工资，除非能证明所发工资存在违法或不当情形。
实际操作与建议：
- 单位方面：若单位发现员工被判刑的情况，应首先查阅单位规章制度及劳动合同中关于工资处理的规定。如有明确规定且符合法律法规要求，可要求员工退还工资；若无明确规定或规定不明确，建议与员工协商解决或咨询专业法律人士意见后再行处理。
- 员工方面：若员工被判刑且单位要求退还工资，应首先了解单位规章制度及劳动合同中的相关规定。如认为单位要求不合理或存在违法情形，可拒绝退还并寻求法律援助或向劳动行政管理部门投诉；如认为单位要求合理且自身确实存在过错，可与单位协商退还部分或全部工资。
法律依据：
- 《中华人民共和国劳动合同法》第三十九条：劳动者被依法追究刑事责任的，用人单位可以解除劳动合同。
- 《行政机关公务员处分条例》等相关法律法规：公职人员因犯罪被判刑的，通常会被依法开除公职并退还判刑期间领取的工资（特殊情况除外）。
综上所述，职工服刑期间单位发放的工资能否要求退回需根据具体情况进行综合分析。在任何情况下，都应尊重法律法规的权威性和劳动者的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。