在借调期间，如果单位需要退回借调人员，这确实是一个需要谨慎处理的问题，既要遵循法律程序，也要兼顾人情世故。以下是我为您整理的详细步骤和建议，希望能帮助您妥善处理这一问题：

一、查看借调协议

首先，您需要仔细查阅借调协议中关于退回的具体约定。如果协议中有明确规定，比如借调期限、退回条件等，那么您应严格按照协议执行。这是最直接也最有效的依据。

二、确定合理退回理由

如果协议中没有明确规定，或者您需要基于实际情况提出退回，那么您需要确定一个合理的退回理由。常见的合理理由包括：

• 借调单位业务调整，不再需要该借调人员。
• 借调人员无法胜任当前工作，或者工作表现不符合借调单位的要求。
• 借调期限已满，且双方未就续借达成一致。

三、提前书面通知

在决定退回借调人员之前，您应提前书面通知被借调人员及其原单位。通知中应明确说明退回的原因、时间以及后续的相关安排。这样做可以确保信息的透明度，避免不必要的误解和纠纷。

四、保障合法权益

在退回过程中，您必须确保借调人员的合法权益得到保障。这包括但不限于：

• 工资、福利等应结算清楚，不得拖欠或克扣。
• 如果借调人员因退回而遭受损失（如交通费、住宿费等），应给予合理的补偿。
• 尊重借调人员的个人意愿和职业发展规划，避免对其造成不必要的负面影响。

五、沟通与协商

在整个退回过程中，沟通与协商是至关重要的。您应与被借调人员及其原单位保持密切联系，及时解答他们的疑问，解决他们的问题。如果可能的话，您可以邀请双方代表进行面对面的协商，以达成更加和谐、共赢的解决方案。

六、具体沟通话术示例

当您与借调人员或原单位沟通时，可以采用以下话术：

• “经过我们单位的认真考虑和评估，由于业务调整/工作表现等原因，我们决定退回您/该借调人员。我们非常感激您/他在借调期间的付出和贡献，也理解这可能给您/他带来一定的不便。我们将按照协议规定，确保您/他的合法权益得到保障，并协助您/他顺利返回原单位。”

七、注意事项

• 在处理退回问题时，务必保持冷静和理性，避免情绪化的决策和言行。
• 尊重借调人员的感受和需求，尽量减少对其工作和生活的干扰。
• 如果遇到复杂或棘手的问题，可以寻求专业法律或人力资源方面的咨询和帮助。

综上所述，借调期间单位要退回借调人员是一个需要谨慎处理的问题。通过遵循法律程序、确定合理退回理由、提前书面通知、保障合法权益以及加强沟通与协商等措施，您可以妥善处理这一问题，确保双方的利益得到最大程度的保护。