结论：银行是否有权直接扣走您工资卡里的钱来偿还未还清的贷款，需分情况讨论，具体如下：
- 若您与银行签订了自动扣款协议：在这种情况下，银行是有权根据协议约定，在贷款还款日直接从您的工资卡中扣除相应款项用于偿还贷款的。这是基于您与银行之间的合同约定，银行按照约定行使权利，是合法合规的操作。比如，您在办理贷款时，签署了相关文件同意银行在每月特定日期从指定账户扣款，那么银行就会按照这个约定执行。
- 若您未与银行签订自动扣款协议：
- 银行一般无权直接扣划：从法律层面来讲，银行不能随意直接从您的工资卡中扣款来偿还贷款。工资卡中的资金属于您的个人财产，银行未经法定程序，如法院判决、仲裁裁决等，不能擅自处置。
- 特殊情况：如果银行发现您的账户存在异常情况，比如涉嫌信用卡诈骗等犯罪行为，银行可能会根据相关法律规定和内部程序，在符合条件的情况下向司法机关申请冻结或扣划账户资金。但这种情况比较特殊，需要满足严格的法律条件。另外，如果银行在贷款合同中设置了某些特殊条款，且这些条款不违反法律法规的强制性规定，在符合条款约定的情况下，银行也可能有一定的操作空间，但这种情况相对较少，且条款的合法性和有效性也需要严格审查。
建议：
- 仔细查看贷款合同：您可以找出当时与银行签订的贷款合同，仔细查看其中关于还款方式、账户扣划等方面的条款约定，明确自己的权利和义务。
- 与银行沟通协商：如果您不希望银行从工资卡中扣款，或者对银行的扣款行为有疑问，可以及时与银行进行沟通协商，说明您的情况和意愿，寻求合理的解决方案。
- 关注账户动态：定期查看工资卡的账户明细，及时发现异常扣款情况。如果发现银行未经您同意擅自扣款，您可以收集相关证据，如银行流水、贷款合同等，向银行提出异议，要求银行返还被扣款项。如果银行不予理会，您还可以向当地的银保监会等监管部门投诉，或者通过法律途径维护自己的合法权益。