被借调的事业单位非在编人员，在一般情况下是有权拒绝借调的。以下从不同角度为你详细分析：
从法律关系角度
非在编人员与事业单位之间建立的是劳务关系或者雇佣关系，并非严格意义上基于《劳动合同法》的劳动关系（当然，如果非在编人员与事业单位签订了类似劳动合同的协议，且协议内容符合劳动关系特征，则按劳动关系处理）。在劳务关系或雇佣关系中，双方的权利义务主要依据双方签订的合同或者协议来确定。如果合同或协议中没有明确约定借调相关事宜，那么事业单位随意将非在编人员借调到外单位，就缺乏合同依据。此时，非在编人员有权基于自身意愿拒绝借调。
例如，小李是某事业单位的非在编人员，与单位签订了一份劳务协议，协议中只约定了小李在原单位的工作岗位、工作内容和报酬等，没有涉及借调条款。后来单位要将小李借调到外单位，小李就可以以协议未约定为由拒绝。
从单位管理规定角度
即使事业单位有一些内部管理规定，但这些规定不能违反法律法规的强制性规定，也不能侵犯员工的合法权益。如果单位的管理规定中关于借调非在编人员的内容，没有经过合法程序制定，或者没有充分保障非在编人员的知情权、选择权等合法权益，那么该规定对非在编人员不具有约束力，非在编人员可以拒绝借调。
比如，某事业单位制定了一个内部规定，要求所有非在编人员必须服从单位的借调安排，但这个规定没有经过职工代表大会讨论通过，也没有向非在编人员公示。在这种情况下，非在编人员就有权拒绝借调。
特殊情况说明
如果非在编人员与事业单位签订的合同或协议中明确约定了单位有权根据工作需要将其借调到外单位，并且非在编人员在签订合同时对此条款是明知且自愿接受的，那么在这种情况下，非在编人员可能就需要按照合同约定履行借调义务，不能随意拒绝。不过，即使有这样的约定，如果借调安排存在不合理之处，如借调期限过长、借调单位的工作环境恶劣、劳动强度过大等，非在编人员也可以与单位协商变更借调安排或者解除合同。
法律建议：
如果你在处理此类问题时遇到具体困难或者有进一步的疑问，可以直接向我咨询，我会为你提供更详细的法律帮助。