用人单位扣除工资，劳动者不可以直接以此为由不交接工作，但劳动者有权通过合法途径维护自身权益。以下从不同角度为你详细分析：

从法律规定角度

根据《劳动合同法》等相关法律法规，劳动者在离职时有义务按照用人单位的要求进行工作交接。这是劳动者基于劳动关系而应承担的附随义务，旨在保障用人单位工作的正常开展和业务的连续性。即使用人单位存在扣除工资等不当行为，劳动者也不能直接拒绝交接工作，否则可能构成违反法律规定和劳动合同约定的行为，需要承担相应的法律责任。

从劳动者权益维护角度

如果用人单位扣除工资的行为违反了法律法规或劳动合同的约定，劳动者可以通过以下合法途径来维护自己的权益：

1. 与用人单位协商：劳动者可以首先尝试与用人单位进行沟通，说明扣除工资的不合理性，要求用人单位补发工资并按照正常流程进行工作交接。这种方式相对平和，有助于快速解决问题，避免矛盾升级。
2. 向劳动监察部门投诉：如果协商无果，劳动者可以向当地的劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行调查和处理，责令用人单位补发工资，并可能对用人单位进行相应的处罚。
3. 申请劳动仲裁：劳动者还可以向劳动争议仲裁委员会申请劳动仲裁。在仲裁过程中，劳动者需要提供相关证据证明用人单位扣除工资的行为违法，仲裁委员会将根据事实和法律作出裁决，要求用人单位支付工资并承担相应的法律责任。

从不交接工作的后果角度

如果劳动者以用人单位扣除工资为由拒绝交接工作，可能会面临以下后果：

1. 用人单位可能追究劳动者的违约责任：如果劳动合同中明确约定了劳动者离职时需要进行工作交接，而劳动者拒绝交接，用人单位有权依据合同约定追究劳动者的违约责任，要求劳动者赔偿因未交接工作而给用人单位造成的损失。
2. 影响劳动者的职业声誉：不交接工作的行为可能会给用人单位留下不良印象，影响劳动者在行业内的职业声誉。在未来的求职过程中，其他用人单位可能会对劳动者的这种行为持谨慎态度，从而影响劳动者的职业发展。

建议：在面对用人单位扣除工资的情况时，劳动者应保持冷静，通过合法途径维护自己的权益，而不是采取拒绝交接工作等可能给自己带来不利后果的行为。如果你遇到了类似的问题，可以直接向我咨询，我会为你提供更具体的法律建议和帮助。