结论：一般情况下，别人借款不还但留了您的电话，扣款不会直接扣您的银行卡。不过，存在一些特殊情况或风险点需要您注意。

详细分析：

1. 合同相对性原则：

   • 在借贷关系中，合同（或借款协议）是约束借款人和出借人的法律文件。根据合同的相对性原则，合同的权利和义务通常只及于合同双方，即借款人和出借人。因此，如果别人借款并留下了您的电话，但您并非借款合同的当事人，那么该借款合同对您没有法律约束力，出借人无权直接要求您承担还款责任，更无权直接扣划您的银行卡。

2. 担保或共同借款的情况：

   • 如果您作为担保人或共同借款人在借款合同上签字，那么您就需要对借款承担相应的法律责任。在这种情况下，如果借款人未能按时还款，出借人有权根据合同约定要求您承担还款责任，甚至可能通过法律途径申请强制执行，包括扣划您的银行卡资金。但这种情况需要您明确在合同中承担了担保或共同借款的责任。

3. 信息泄露与诈骗风险：

   • 尽管别人借款不还通常不会直接导致您的银行卡被扣款，但您仍需警惕信息泄露和诈骗风险。如果您的个人信息（如电话号码、银行卡号等）被不法分子获取，他们可能会利用这些信息进行诈骗活动，如冒充您进行借款、消费等。因此，建议您保护好个人信息，避免泄露给不熟悉的人或机构。

4. 应对措施：

   • 如果您发现自己被错误地列为借款合同的担保人或共同借款人，或者您的个人信息被不法分子利用进行诈骗活动，您应立即采取措施保护自己的权益。这包括向出借人或相关机构说明情况、提供证据证明自己并非合同当事人或未参与诈骗活动，并寻求法律帮助以维护自己的合法权益。

建议：

• 如果您不是借款合同的当事人，且未提供任何担保或共同借款承诺，那么您无需担心因别人借款不还而导致您的银行卡被扣款。
• 保护好个人信息，避免泄露给不熟悉的人或机构，以降低信息泄露和诈骗风险。
• 如果您发现自己被错误地列为借款合同的担保人或共同借款人，或者遭遇诈骗活动，请立即采取措施保护自己的权益，并寻求法律帮助。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。