上级单位不能单方面决定不放借调的下级单位人员，这需依据具体的合同约定和实际情况来判断。

一. 借调关系的法律性质

• 借调通常涉及原用人单位、借调单位以及被借调员工三方的关系，这种关系一般通过借调协议或相关劳动合同来明确。
• 借调协议或劳动合同中会规定借调的期限、工作内容、待遇以及借调结束后的安排等。

二. 借调期间的管理与归属

• 根据《工伤保险条例》第四十三条，职工被借调期间，其工伤保险责任仍由原用人单位承担，这间接说明了借调期间员工的某些权益仍与原用人单位相关。
• 然而，这并不意味着原用人单位可以随意拒绝放人。借调协议或劳动合同中对于借调期间的管理、归属及结束条件应有明确规定。

三. 协商与解决

• 如上级单位不放借调人员，首先应查看借调协议或劳动合同中的相关条款，明确各方的权利与义务。
• 根据《中华人民共和国劳动争议调解仲裁法》第四条，劳动者可以与用人单位协商，也可以请工会或者第三方共同与用人单位协商，以达成和解协议。
• 若协商不成，劳动者或原用人单位可以依法申请调解、仲裁或提起诉讼。

四. 我的观点

• 我认为，在借调关系中，各方应严格遵守借调协议或劳动合同中的约定。
• 若上级单位无合理理由不放借调人员，可能构成对借调协议或劳动合同的违约，应承担相应的法律责任。

综上所述，上级单位不能单方面决定不放借调的下级单位人员，而应依据借调协议或劳动合同中的约定，以及相关法律法规来处理。如有进一步需要，您可以继续咨询我。