核心结论：借调人员被原单位要求回去上班，需根据借调协议约定、借调期限、双方协商情况及法律规定来处理。以下是具体分析：

1. 查看借调协议约定

   • 首先，要仔细查看借调协议中关于借调期限、终止条件以及双方权利义务的条款。如果协议中明确规定了借调期限，且期限尚未届满，原单位无正当理由要求提前召回，可能构成违约。此时，你可以与原单位沟通，要求其按照协议履行，或者协商变更协议内容。
   • 若协议中未明确借调期限，或者约定了可以提前召回的条件，而原单位符合这些条件，那么你可能需要按照原单位的要求回去上班。

2. 协商处理

   • 无论借调协议如何约定，与原单位和借调单位进行友好协商都是解决问题的关键。你可以向原单位说明自己在借调单位的工作情况、个人职业发展规划等，争取原单位的理解和支持，看是否能够延长借调期限或者找到其他妥善的解决方案。
   • 同时，也可以与借调单位沟通，了解其对于你回去上班的态度和意见，看是否能够共同与原单位协商出一个三方都能接受的方案。

3. 考虑法律后果

   • 如果原单位坚持要求你回去上班，且你拒绝履行，可能会面临违反劳动合同或借调协议的法律后果，包括但不限于被原单位解除劳动合同、承担违约责任等。因此，在做出决定前，要充分考虑这些法律后果，并权衡利弊。
   • 另外，如果你认为原单位的要求不合理或存在违法行为，如歧视、报复等，你可以向劳动监察部门投诉或寻求法律援助，维护自己的合法权益。

4. 个人职业规划

   • 在处理这个问题时，还要考虑自己的个人职业规划和发展。如果你认为在借调单位有更好的发展机会和前景，可以积极与原单位和借调单位沟通，争取留在借调单位工作。
   • 如果原单位的工作环境、待遇等更符合你的期望，或者你与原单位有更深的情感纽带，那么回去上班也是一个不错的选择。