拒绝交工资卡本身并不直接产生法律上的严重后果，但具体后果需结合实际情况分析，主要包括单位内部管理影响、劳动关系处理风险及潜在法律争议。以下从不同角度详细说明：

一、单位内部管理影响

1. 违反单位规章制度的风险
   若单位明确规定员工需将工资卡交由单位统一管理（如部分特殊行业或岗位），员工拒绝可能构成违反规章制度。根据《劳动合同法》第三十九条，严重违反单位规章制度的，单位可解除劳动合同。但需注意：

   • 规章制度合法性：单位规章制度需经民主程序制定（如职工代表大会讨论）、内容合法且已公示，否则可能被认定为无效。
     
   • “严重”程度认定：若单位仅因员工拒绝交卡直接解除合同，可能被认定为违法解除，员工可主张赔偿金（按工作年限，每满一年支付两个月工资）。

2. 工资发放延迟或形式变更
   若单位因员工拒绝交卡而延迟发放工资或改变发放方式（如要求现金发放），可能涉及《工资支付暂行规定》第七条“工资必须在约定日期支付”的强制性要求。员工可据此向劳动监察部门投诉，要求单位按约定方式支付工资。

二、劳动关系处理风险

1. 单位以此为由调岗或降薪
   若单位以“不配合管理”为由单方面调岗或降薪，需符合《劳动合同法》第三十五条“协商一致”的原则。未经员工同意的调岗降薪，员工可拒绝并主张补发工资差额，或以“未提供劳动条件”为由解除合同并主张经济补偿（按工作年限，每满一年支付一个月工资）。

2. 单位以此为由解除合同的合法性审查
   若单位以“拒绝交卡”为由解除合同，需证明该行为属于“严重违反规章制度”或“严重失职造成重大损害”。若无法证明，则构成违法解除，员工可主张赔偿金（经济补偿的两倍）。

三、潜在法律争议点

1. 工资卡所有权与使用权争议
   工资卡属于员工个人财产，单位无权强制要求交出。若单位通过扣押工资卡、限制取款等方式侵犯员工财产权，员工可依据《民法典》第二百六十七条“私人的合法财产受法律保护”主张返还并赔偿损失。

2. 工资发放方式变更的协商义务
   若单位因特殊原因需变更工资发放方式（如原银行合作终止），需与员工协商一致。若单位单方面变更，员工可要求恢复原方式或主张因变更导致的损失（如跨行取款手续费）。

四、实务建议

1. 对员工的建议

   • 保留证据：若单位以“拒绝交卡”为由采取不利措施（如调岗、降薪、解除合同），需保留书面通知、聊天记录等证据。
     
   • 协商优先：可与单位沟通，明确拒绝交卡的理由（如隐私保护、财务自主权），尝试达成妥协（如提供工资卡复印件或授权查询流水）。
     
   • 法律途径：若单位行为违法，可向劳动监察部门投诉或申请劳动仲裁，主张工资、经济补偿或赔偿金。

2. 对单位的建议

   • 完善制度：若需统一管理工资卡，应通过民主程序制定合法制度并公示，明确交卡的具体情形（如特殊岗位）及后果。
     
   • 协商处理：对拒绝交卡的员工，应先沟通了解原因，避免直接采取不利措施，防止引发劳动争议。

总结：拒绝交工资卡本身不违法，但需警惕单位以此为由采取的后续措施。若单位行为违法，员工可通过法律途径维权；单位也应依法管理，避免纠纷。如有具体问题，可直接向我咨询。