关于“清退借调人员不回去可以吗”的问题，结论是：这取决于借调协议的具体内容、原单位与借调单位之间的协商情况以及相关法律法规的规定，不能一概而论。 以下从几个角度进行详细分析：
借调协议的内容：
- 如果借调协议中明确规定了借调期限，且期限已满或提前终止，那么借调人员应当按照协议约定返回原单位。此时，如果借调人员不回去，可能构成违约，需要承担相应的违约责任。
- 如果借调协议中没有明确规定借调期限，或者期限尚未届满，但原单位或借调单位希望提前终止借调关系，那么双方应当协商一致，并签订书面协议确认终止借调关系。在这种情况下，如果借调人员不回去，且没有合理的理由，也可能面临一定的法律风险。
原单位与借调单位之间的协商：
- 即使借调协议中没有明确规定，原单位和借调单位也可以通过协商来决定借调人员的去留。如果双方达成一致意见，同意借调人员继续留在借调单位或返回原单位，那么借调人员应当遵守这一协商结果。
- 如果协商不成，且借调人员拒绝返回原单位，原单位可能会采取法律手段来维护自己的权益，如提起劳动争议仲裁或诉讼等。
相关法律法规的规定：
- 根据《中华人民共和国劳动合同法》等相关法律法规的规定，借调关系通常被视为一种特殊的劳动关系，受到劳动法律法规的调整和保护。因此，在处理借调人员去留问题时，应当遵循相关法律法规的规定。
- 如果借调人员的行为违反了法律法规的规定或借调协议的约定，原单位或借调单位有权要求其承担相应的法律责任。
法律建议：
- 对于借调人员来说，如果面临被清退的情况，首先应当仔细审查借调协议的内容，了解自己的权利和义务。
- 如果认为被清退的决定不合理或存在争议，可以与原单位和借调单位进行协商，寻求妥善的解决方案。
- 如果协商不成，且认为自己的权益受到了侵害，可以向当地的劳动争议仲裁机构或人民法院提起仲裁或诉讼，维护自己的合法权益。
可能的法律后果：
- 如果借调人员拒绝返回原单位且没有合理的理由，可能会面临违约责任、赔偿损失等法律后果。
- 在极端情况下，如果借调人员的行为构成了违法行为（如盗窃、贪污等），还可能面临刑事责任的追究。
总之，在处理“清退借调人员不回去可以吗”这一问题时，需要综合考虑借调协议的内容、原单位与借调单位之间的协商情况以及相关法律法规的规定。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。