结论：您有权拒绝单位以调查为由要求提供以前单位兼职合同的要求，但具体是否拒绝需结合实际情况判断，以下从不同角度进行分析。
一、从个人隐私权角度
隐私权保护：根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。您以前单位的兼职合同，若涉及您的个人隐私信息（如薪资、工作内容等），则您有权保护这些信息不被未经授权的第三方获取。
拒绝提供：若单位要求提供的兼职合同内容涉及您的个人隐私，且该信息与当前工作无直接关联，您有权拒绝提供。单位无权强制要求您披露此类信息，否则可能构成对您的隐私权的侵犯。
二、从劳动合同关系角度
劳动合同内容：根据《中华人民共和国劳动合同法》的规定，劳动合同是劳动者与用人单位之间确立劳动关系、明确双方权利和义务的协议。您与当前单位之间的劳动关系，应由您与当前单位签订的劳动合同来规范，而不应涉及您以前单位的兼职合同。
无关性：除非当前单位能够证明您以前单位的兼职合同与当前工作存在直接关联，且该关联对于评估您的工作能力、诚信度等具有必要性，否则单位无权要求您提供此类合同。在大多数情况下，以前单位的兼职合同与当前工作并无直接关联，因此您有权拒绝提供。
三、从实际操作角度
沟通协商：在面对单位的要求时，您可以首先尝试与单位进行沟通协商，了解单位要求提供兼职合同的具体原因和目的。如果单位能够给出合理的解释和证明，且您认为提供该合同不会损害您的个人隐私和权益，那么您可以考虑提供。
拒绝并说明理由：如果单位的要求缺乏合理性或您认为提供该合同会损害您的个人隐私和权益，那么您可以明确拒绝单位的要求，并说明拒绝的理由。如果单位因此对您进行不当处理或威胁，您可以考虑通过法律途径维护自己的权益。
四、特殊情况考虑
竞业限制与保密义务：如果您与以前单位签订的兼职合同中包含竞业限制或保密义务等条款，且这些条款在当前仍然有效，那么您需要谨慎考虑是否提供该合同。因为提供该合同可能会使您违反与以前单位的约定，从而面临法律责任。
单位调查的合法性：如果单位声称进行调查是出于合法目的（如背景调查、诚信评估等），且该调查符合相关法律法规的规定，那么您可能需要配合单位提供相关信息。但即便如此，您也有权要求单位对调查过程进行保密，并确保您的个人隐私和权益不受损害。
建议：在面对单位的要求时，您应首先评估该要求是否合理、合法，并考虑提供该合同可能带来的后果。如果您认为提供该合同会损害您的个人隐私和权益，或者单位的要求缺乏合理性，那么您有权拒绝提供。如有需要，您可以向我咨询具体的法律建议和应对策略。