用人单位要收回合同，劳动者可以拒绝。下面我来详细解释一下：

首先，从法律角度来看，劳动合同一旦签订，就具有法律效力，对双方都有约束力。用人单位无权单方面收回已经签订的劳动合同，除非双方协商一致或者依据法律规定的情形进行变更或解除。

其次，如果用人单位坚持要收回合同，劳动者可以明确拒绝，并保留好相关证据，如与用人单位的沟通记录、合同复印件等。这样，一旦后续发生纠纷，劳动者可以凭借这些证据来维护自己的合法权益。

再者，如果用人单位因为劳动者拒绝交回合同而采取不当措施，如解雇、降薪等，劳动者可以向劳动监察部门投诉，或者依法申请劳动仲裁，维护自己的合法权益。

综上所述，用人单位要收回合同，劳动者有权拒绝，并应保留好相关证据以备不时之需。如果因此发生纠纷，劳动者可以依法维权。如果你还有其他关于劳动合同的问题，可以直接向我咨询。