结论前置：用人单位将您退回劳务派遣单位时，您是否需要交还工卡，主要取决于工卡的性质、用人单位的规定以及劳务派遣协议中的相关约定。以下是从不同角度进行的分析。
一、工卡的性质与用途
工卡通常是用人单位为了管理员工、记录考勤、控制门禁等而发放的一种身份识别卡片。它可能包含员工的个人信息、照片、职位以及用人单位的标识等内容。工卡的使用和管理通常受到用人单位内部规章制度的约束。
二、用人单位的规定
明确规定：如果用人单位在规章制度或劳动合同中明确规定了员工在离职或被退回劳务派遣单位时需要交还工卡，那么您应当遵守这一规定。这是您作为员工应尽的义务。
未明确规定：如果用人单位没有明确规定需要交还工卡，那么您是否需要交还可能取决于劳务派遣协议中的约定或双方协商的结果。
三、劳务派遣协议中的约定
劳务派遣协议是用人单位与劳务派遣单位之间签订的，用于明确双方权利义务的合同。如果协议中明确规定了员工在退回劳务派遣单位时需要交还工卡，那么您应当遵守这一约定。因为劳务派遣协议对用人单位和劳务派遣单位都具有约束力，而您作为被派遣的员工，也应当受到协议中相关条款的约束。
四、实际操作建议
查看规章制度：首先，您可以查看用人单位的规章制度或劳动合同，看是否有关于工卡交还的明确规定。
咨询劳务派遣单位：如果用人单位没有明确规定，您可以咨询劳务派遣单位，了解他们对于工卡交还的要求或建议。
保留证据：无论您是否需要交还工卡，都建议您保留好相关证据，如工卡本身、交还记录或相关沟通记录等。以防未来出现纠纷时，能够作为证据使用。
遵守约定：如果劳务派遣协议或用人单位的规章制度中有明确规定需要交还工卡，那么您应当遵守这一约定，以免给自己带来不必要的麻烦。
五、可能的法律后果
如果您未按照用人单位的规定或劳务派遣协议的约定交还工卡，可能会面临一些法律后果，如被用人单位追究违约责任、影响个人信用记录等。虽然这些后果通常不会非常严重，但为了避免不必要的纠纷和损失，建议您还是遵守相关规定和约定。
总结：用人单位将您退回劳务派遣单位时，您是否需要交还工卡，主要取决于工卡的性质、用人单位的规定以及劳务派遣协议中的相关约定。建议您先查看相关规定和约定，再根据实际情况做出决定。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。