关于借调单位退回是否会留档的问题，这主要取决于借调单位的具体管理规定以及人事档案的管理流程，但我可以根据一般情况给您一个较为全面的解答。

首先，我们需要明确的是，借调行为本身通常不会直接导致个人人事档案中产生特定的“借调退回”记录。人事档案主要记录的是个人的基本信息、教育背景、工作经历、奖惩情况等，它更像是一个个人职业生涯的“历史书”，而非实时更新的“工作日志”。

然而，借调单位在借调期间可能会对借调人员的工作表现、能力评估等进行记录，这些记录可能会以某种形式（如工作评价、考核报告等）存在于借调单位的内部文件中。当借调期满或借调关系提前终止时，借调单位可能会根据这些记录对借调人员进行综合评价，并可能将相关评价反馈给借出单位或个人。但这种反馈通常不会直接作为“借调退回”的档案记录，而是作为工作交流或人员评价的一部分。

另外，从人事档案管理的角度来看，如果借调行为导致了个人工作单位的变更（如从借出单位正式调入借调单位，或借调期满后返回原单位但岗位、职务等发生变化），那么这些变更信息可能会作为工作经历的一部分被记录到个人人事档案中。但这种情况下的“留档”更多是关于工作单位变更的记录，而非直接针对“借调退回”这一行为的记录。

总结来说：借调单位退回本身通常不会直接在个人人事档案中留下特定的“借调退回”记录。但借调期间的工作表现、能力评估等可能会以某种形式存在于借调单位的内部文件中，并可能作为工作交流或人员评价的一部分被反馈。同时，如果借调行为导致了个人工作单位的变更，那么这些变更信息可能会被记录到个人人事档案中。

如果您对借调单位的具体管理规定或人事档案的管理流程有进一步的疑问，建议您直接咨询借调单位的人事部门或相关档案管理机构，以获取更准确、更具体的信息。