结论：在一般情况下，如果档案存放在人才市场，单位要求交回，您是有权拒绝的，但具体还需根据您与单位之间的约定以及相关法律法规来综合判断。以下从不同角度为您详细分析：
一、档案存放与管理的常规情况
档案存放地点：档案通常可以存放在具有档案管理权限的机构，如人才市场、就业指导中心或单位内部（如果单位具备档案管理权限）。您选择将档案存放在人才市场，是出于个人便利或单位无档案管理权限等原因。
单位要求交回档案的合理性：单位要求交回档案，通常可能是出于管理需要或认为档案应由单位统一保管。然而，这并不意味着您必须无条件服从。档案的存放地点，在双方没有明确约定的情况下，应尊重您的选择。
二、从法律角度分析
档案所有权与保管权：档案记录了您的个人信息、工作经历等，其所有权属于您个人。而保管权则可以根据双方约定或法律规定来确定。如果单位没有明确的法律依据或双方约定，要求您交回档案可能缺乏合法性。
相关法律法规：目前，并没有明确的法律法规规定档案必须存放在单位。相反，根据《档案法》等相关规定，档案的存放应遵循方便利用、安全保密的原则。因此，您选择将档案存放在人才市场，并不违反法律规定。
三、从实际操作角度分析
与单位沟通：如果单位要求您交回档案，您可以先与单位进行沟通，了解其具体要求和原因。如果单位能够提供合理的解释和依据，您可以考虑是否愿意将档案交回。
查看劳动合同或规章制度：您可以查看与单位签订的劳动合同或单位的规章制度，看是否有关于档案存放和管理的明确规定。如果有，且规定对您不利，您可以与单位协商修改或寻求法律援助。
考虑后续影响：在决定是否交回档案时，您还需要考虑后续可能产生的影响。例如，如果档案交回单位后，您需要办理某些手续或证明时是否方便；如果未来离职或跳槽，档案的转移是否顺畅等。
四、特殊情况下的处理
单位具备档案管理权限且双方有约定：如果单位具备档案管理权限，并且您与单位在劳动合同或相关协议中明确约定了档案应由单位保管，那么在这种情况下，您可能需要按照约定将档案交回单位。
档案涉及重要信息或利益：如果档案中涉及您的重要信息或利益（如职称评定、社保缴纳等），您需要特别谨慎处理。在这种情况下，建议您先咨询专业人士或法律机构，了解相关法律法规和操作流程后再做决定。
建议：在面对单位要求交回档案的情况时，您应首先了解自己的权益和单位的依据。如果认为单位的要求不合理或缺乏法律依据，您可以拒绝交回档案，并与单位进行沟通协商。如果协商无果或您认为自己的权益受到侵害，您可以寻求法律援助或向相关部门投诉举报。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。