结论：针对您借调32年后现单位要求回原单位，且仅剩2年退休的情况，是否可以不回去需分情况讨论，主要取决于借调协议的具体内容、原单位与现单位的协商结果以及相关法律法规的规定。
分析如下：
借调协议的内容：
- 如果借调协议中明确规定了借调期限，并且该期限已经届满，那么现单位要求您回原单位可能是合理的，除非协议中有其他特别约定（如自动续期、双方协商一致延长等）。
- 如果借调协议未明确规定借调期限，或者期限尚未届满，但现单位因某种原因（如业务调整、人员配置等）要求您提前回原单位，这可能需要与您、原单位进行协商，并可能涉及违约责任的承担。
原单位与现单位的协商：
- 在借调关系中，原单位和现单位通常会有一定的协商机制。如果现单位要求您回原单位，您可以与原单位沟通，了解原单位的态度和意见。
- 如果原单位同意您继续留在现单位工作，或者双方能够达成其他协议（如延长借调期限、调整工作岗位等），那么您可能不需要回原单位。
相关法律法规的规定：
- 根据《中华人民共和国劳动合同法》等相关法律法规，借调关系通常受到劳动合同法的调整。如果借调协议违反了法律法规的强制性规定，那么该协议可能无效或部分无效。
- 在借调关系中，您作为劳动者享有相应的权益，如获得劳动报酬、享受社会保险和福利待遇等。如果现单位要求您回原单位导致您的权益受到损害，您可以依法维护自己的权益。
法律建议：
- 查看借调协议：首先，您需要仔细查看借调协议的具体内容，了解借调期限、双方的权利义务等关键条款。
- 与原单位和现单位沟通：其次，您可以与原单位和现单位进行沟通，了解他们的态度和意见，并尝试达成双方都能接受的协议。
- 咨询专业律师：如果沟通无果或您对借调协议、相关法律法规有疑问，建议您咨询专业律师，以便更好地维护自己的权益。
可能后果：
- 如果您拒绝回原单位且没有合法依据，可能会面临与现单位的劳动纠纷，甚至可能被现单位解除劳动合同。
- 如果您因回原单位而遭受经济损失（如工资减少、福利待遇降低等），您可以依法向现单位或原单位主张赔偿。
特殊情况：
- 如果您已经接近退休年龄，且借调关系对您的退休待遇等产生重要影响，您需要特别关注借调关系的变更可能带来的后果，并提前做好规划和准备。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。