结论：单方面违法解除劳动关系时，员工是否可以不交工作卡，需分情况讨论，但通常建议员工按照公司规定或合理方式处理工作卡的交接，以避免不必要的法律纠纷。

分析说明：

1. 劳动关系解除的合法性：

   • 当公司单方面违法解除劳动关系时，这一行为本身是不合法的，员工有权对此提出异议，并可能通过法律途径维护自己的权益，如申请劳动仲裁或提起诉讼。

2. 工作卡交接的义务：

   • 工作卡作为公司财产或用于工作身份识别的工具，员工在离职时通常有义务将其交还公司。这是基于一般的职场礼仪和公司规章制度的要求。
   • 即使公司违法解除劳动关系，员工也不应因此拒绝交还工作卡，因为这可能构成对公司的财产侵占或违反职场基本规范，进而可能引发新的法律纠纷。

3. 违法解除下的员工权益：

   • 在公司违法解除劳动关系的情况下，员工应关注的是如何维护自己的合法权益，如要求公司支付违法解除的赔偿金、未支付的工资、加班费等。
   • 员工可以通过与公司协商、申请劳动仲裁或提起诉讼等方式来主张自己的权益，而不是通过拒绝交还工作卡等可能引发新纠纷的方式来表达不满。

4. 特殊情况下的处理：

   • 如果公司拒绝接收工作卡或存在其他不合理行为，员工可以保留相关证据（如工作卡、交接记录、公司通知等），并在必要时向劳动监察部门投诉或寻求法律援助。
   • 在某些极端情况下，如果员工认为交还工作卡可能会对其造成安全隐患或侵犯其隐私权等，可以与公司协商合理的解决方案，并在必要时咨询专业律师的意见。

行动建议：

• 保留证据：无论公司是否违法解除劳动关系，员工都应保留好与工作卡相关的所有证据，如工作卡本身、交接记录、公司通知等。
• 合理交接：按照公司规定或合理方式处理工作卡的交接，避免不必要的法律纠纷。
• 维护权益：如果公司违法解除劳动关系，员工应积极通过法律途径维护自己的权益，如申请劳动仲裁或提起诉讼。
• 咨询律师：如有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我将根据您的具体情况提供专业的法律建议。