关于单位借调是否可以不去的问题，这主要取决于借调的性质、劳动合同的约定以及相关法律法规的规定。以下是我为您提供的详细解答：
首先，我们需要明确借调与调岗、调动的区别。借调通常指的是因工作需要，将员工从原岗位暂时借用到其他岗位或部门，但劳动关系仍保留在原单位。而调岗或调动则可能涉及劳动关系的变更，如工作地点的变更、岗位的调整等。
针对您的问题，我们可以从以下几个方面进行分析：
劳动合同的约定：
- 如果劳动合同中明确规定了借调的相关条款，且您在签订合同时已经同意，那么在借调发生时，您可能需要按照合同约定去借调岗位工作。
- 如果劳动合同中没有明确规定借调条款，或者您在签订合同时并未同意借调，那么您有权对借调提出异议。
借调的合法性：
- 根据《劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。如果借调是双方协商一致的结果，且变更内容合法合规，那么您应当遵守。
- 如果用人单位未经您同意，单方面决定借调您到其他岗位或部门，这可能构成对劳动合同的变更，您有权拒绝。
借调对您的影响：
- 如果借调对您的工作环境、生活环境或职业发展产生消极影响，且未经您同意，您有权向用人单位提出异议，并要求用人单位考虑您的合理诉求。
- 如果借调对您并无实质性影响，或者您认为借调有助于您的职业发展，那么您可以考虑接受借调。
拒绝借调的后果：
- 如果您拒绝合法的借调安排，用人单位可能会根据内部规章制度对您进行处罚，如警告、记过、降薪等。但请注意，这些处罚必须合法合规，且不能侵犯您的合法权益。
- 如果用人单位以拒绝借调为由安排您待岗或降低工资，这可能构成违法行为。您有权向劳动监察部门投诉或寻求法律援助。
综合建议：
- 在面对借调安排时，您首先应当查看劳动合同中的相关条款，了解自己的权利和义务。
- 如果借调是双方协商一致的结果，且对您无实质性影响，您可以考虑接受借调。
- 如果借调未经您同意，或对您产生消极影响，您有权向用人单位提出异议，并要求用人单位考虑您的合理诉求。
- 如果用人单位采取不合法或不合规的手段强迫您接受借调，您有权向劳动监察部门投诉或寻求法律援助。
希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时告诉我。