结论：不可以仅因为对方说不算工资就拒绝交接工作。工资结算与工作交接是两个独立的法律义务，员工应履行交接义务，同时通过合法途径主张工资权益。以下从不同角度详细分析：
一、工资结算与工作交接的法律关系
工资结算义务
根据《劳动合同法》第三十条，用人单位应及时足额支付劳动报酬。若用人单位未支付工资，员工可通过劳动监察投诉、申请劳动仲裁等途径主张权利，但不能以此为由拒绝履行交接义务。
工作交接义务
《劳动合同法》第五十条第二款规定，劳动者应按照双方约定办理工作交接。这是员工的法定义务，与工资是否结算无直接关联。若拒绝交接，可能面临以下风险：
- 用人单位可主张赔偿：若因未交接导致损失（如客户流失、商业秘密泄露等），用人单位可要求员工赔偿（《劳动合同法》第九十条）。
- 影响离职证明开具：用人单位可能以未完成交接为由拒绝出具离职证明，进而影响员工后续就业（《劳动合同法》第五十条）。
二、特殊情形下的处理建议
若用人单位明确拒绝支付工资
- 优先协商：与用人单位沟通，要求书面确认工资未支付的事实及金额。
- 留存证据：保存工资条、考勤记录、劳动合同等证明劳动关系及工资标准的材料。
- 申请仲裁：向劳动争议仲裁委员会提起仲裁，主张工资及经济补偿（若符合《劳动合同法》第三十八条“未及时足额支付劳动报酬”的解除条件，可主张N个月工资的经济补偿）。
若用人单位以交接为条件拖延工资
- 明确拒绝“捆绑”：书面告知用人单位“工资支付与工作交接系独立义务，拒绝支付工资属违法行为”。
- 同步主张权利：在办理交接的同时，通过劳动监察或仲裁程序追讨工资，避免因拖延影响时效（劳动仲裁时效为1年）。
三、实务操作建议
- 书面交接：通过邮件、微信或书面清单确认交接内容，避免口头交接无证据。
- 分步履行：若用人单位态度强硬，可协商“先交接核心资料，后结算工资”，但需保留协商记录。
- 法律程序优先：若协商无果，立即启动劳动仲裁程序，避免因等待工资结算而错过时效。
示例：
员工A离职时，用人单位称“工资需等交接完成后支付”。A可：
- 书面要求用人单位出具《工资结算承诺书》，明确工资金额及支付时间；
- 同步办理交接，留存交接清单；
- 若用人单位未按承诺支付工资，30日内申请劳动仲裁，主张工资及经济补偿。
总结：工资纠纷应通过法律途径解决，拒绝交接可能承担额外责任。如有具体问题，可直接向我咨询，我会结合您的证据材料提供进一步方案。