结论前置：单位要求调档案时，劳动者是否可以拒绝，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、档案调取的合法性基础
法律依据：根据《中华人民共和国劳动合同法》第五十条，用人单位在解除或终止劳动合同时，需在十五日内为劳动者办理档案和社会保险关系转移手续。这表明，在劳动关系解除或终止时，单位有权且应依法调取或转移档案。
合法调取的情形：若单位因工作需要（如办理社保、公积金、职称评定等）或依法履行相关手续（如解除劳动合同后的档案转移），要求调取档案，且调取程序合法（如出具书面调档函、说明调档理由等），劳动者一般应配合，无正当理由不得拒绝。
二、劳动者可拒绝调档的情形
单位调档目的不合法或不合理：若单位调档目的与工作无关，或存在侵犯劳动者隐私、滥用档案等情形（如将档案用于非法用途、泄露劳动者个人信息等），劳动者有权拒绝，并可向相关部门投诉或寻求法律救济。
调档程序不合法：若单位未出具书面调档函、未说明调档理由，或调档程序违反法律法规（如未经劳动者同意擅自调取档案），劳动者有权拒绝，并可要求单位依法履行调档程序。
劳动关系存续期间，单位无正当理由要求调档：在劳动关系存续期间，单位一般无权随意调取劳动者档案，除非因工作需要且经劳动者同意。若单位无正当理由要求调档，劳动者有权拒绝。
三、劳动者拒绝调档的法律后果
若劳动者拒绝合法调档：如单位调档目的合法、程序合法，且劳动关系已解除或终止，劳动者无正当理由拒绝调档，可能影响其社保、公积金等权益的办理，甚至可能承担一定的法律责任（如因档案未及时转移导致的损失赔偿等）。
若单位非法调档，劳动者拒绝合法：如单位调档目的不合法、程序不合法，或劳动关系存续期间无正当理由要求调档，劳动者拒绝调档是合法的，且无需承担法律责任。相反，单位可能因非法调档而承担法律责任（如行政处罚、民事赔偿等）。
四、建议与措施
核实调档目的和程序：在接到单位调档通知时，劳动者应首先核实调档目的和程序是否合法、合理。如对调档有疑问，可要求单位出具书面调档函并说明调档理由。
咨询专业律师：如对调档问题存在争议或不确定如何处理，建议及时咨询专业律师，以便更好地维护自身权益。
保留相关证据：在处理调档问题时，劳动者应保留好相关证据（如调档函、沟通记录等），以便在必要时维护自身权益。
总结：单位要求调档案时，劳动者是否可以拒绝需根据具体情况判断。在劳动关系解除或终止时，单位有权且应依法调取或转移档案；但在其他情况下，若调档目的不合法、程序不合法或劳动关系存续期间无正当理由要求调档，劳动者有权拒绝。如有任何疑问或需要进一步帮助，请直接向我咨询。