借调部门一般不可以随意将借调人员退回人力资源部，具体情况需根据借调协议、公司规章制度以及相关法律法规来综合判断。以下从不同角度进行分析：

一、借调协议的角度

1. 协议内容：借调协议是借调部门、借调人员以及人力资源部（或原部门）之间就借调事宜达成的书面约定。协议中通常会明确借调期限、借调岗位、借调期间的权利义务等关键条款。
2. 退回条款：如果借调协议中明确规定了借调部门在何种情况下可以将借调人员退回人力资源部，那么借调部门在符合这些条件时是有权进行退回的。但如果没有明确规定或规定不明确，借调部门则不能随意退回。

二、公司规章制度的角度

1. 内部规定：公司内部可能制定有关于借调管理的规章制度，这些制度会对借调的流程、条件、退回机制等进行详细规定。
2. 合规性：借调部门在退回借调人员时，必须确保其行为符合公司规章制度的要求。如果规章制度中没有明确规定或规定与法律法规相冲突，借调部门的行为可能构成违规。

三、相关法律法规的角度

1. 劳动合同法：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者建立劳动关系后，应当按照劳动合同的约定履行义务。借调期间，借调人员与原用人单位（或人力资源部）的劳动关系仍然存在，借调部门并非其直接用人单位。
2. 违法退回的后果：如果借调部门在没有合法依据的情况下随意退回借调人员，可能构成对借调人员权益的侵害。借调人员有权要求借调部门继续履行借调协议或承担相应的违约责任。同时，如果借调人员的权益受到严重侵害，他们还可以向劳动监察部门投诉或提起劳动仲裁。

四、实际操作中的建议

1. 审查借调协议：在借调发生前，各方应仔细审查借调协议的内容，确保协议条款明确、合法、有效。
2. 遵守公司规章制度：借调部门在借调期间应严格遵守公司内部的规章制度，确保借调行为的合规性。
3. 及时沟通协商：如果借调期间出现任何问题或争议，各方应及时进行沟通协商，寻求合理的解决方案。
4. 寻求法律帮助：如果借调部门的行为涉嫌违法或侵害了借调人员的权益，借调人员可以及时寻求法律帮助，维护自己的合法权益。