结论：借款人不还利息，银行不可以直接扣担保人卡里的钱，除非银行与担保人之间有特别约定或者法律另有规定。

分析说明：

1. 一般原则：

   • 在一般的借贷关系中，担保人的责任是担保借款人能够按时还款，包括本金和利息。但是，这并不意味着银行可以直接从担保人的账户中扣款来偿还借款人的债务。银行需要遵循法律程序，通过起诉、判决和执行等步骤来追讨债务。

2. 特别约定：

   • 如果银行与担保人之间有特别的约定，比如担保人同意在借款人无法还款时，银行可以直接从其账户中扣款，那么银行在符合约定条件的情况下是可以直接扣款的。但这种约定必须明确、合法，并且担保人必须完全知情并同意。

3. 法律另有规定：

   • 在某些特殊情况下，法律可能规定银行可以直接从担保人的账户中扣款。例如，如果担保人提供了特定的财产作为担保，并且该财产被法律认定为可以直接用于偿还债务的，那么银行可能有权直接处置该财产来偿还债务。但这种情况通常需要法律程序的介入，如法院的判决或执行。

法律建议：

• 对于担保人：在提供担保时，应仔细阅读并理解担保合同中的条款，特别是关于责任范围和扣款方式的约定。如果不同意银行直接扣款的方式，应在合同中明确提出并寻求修改。
• 对于银行：在追讨债务时，应遵循法律程序，不得擅自扣款。如果与担保人之间有特别约定，应确保约定合法、明确，并在需要时能够提供充分的证据来支持自己的主张。

可能后果：

• 如果银行未经担保人同意或法律程序擅自扣款，担保人有权向银行提出异议，并可能通过法律途径追究银行的法律责任。
• 如果担保人拒绝履行担保责任，银行有权通过法律程序追讨债务，包括起诉担保人并申请法院强制执行。

如有更多关于债务债权、民间借贷、抵押担保等方面的法律问题，可以直接向我咨询。