结论：能否要回被银行以债务抵销为由扣除的钱，需分情况判断，关键在于银行行使抵销权是否符合法定条件及程序。 以下是具体分析：
1. 若银行行使抵销权符合法定条件，您通常无法要回款项
根据《民法典》第五百六十八条，银行行使抵销权需满足以下条件：
- 债务性质相同：银行扣除的款项需与您欠银行的债务属于同种类（如均为货币债务）；
- 债务到期：银行对您享有的债权（如贷款、信用卡欠款）需已到期；
- 无禁止性约定：您与银行签订的合同中未明确约定禁止抵销（如部分贷款合同可能约定“未经借款人同意不得抵销”）；
- 通知义务：银行需在抵销前通知您（实践中通常通过短信、邮件或账单告知）。
若银行完全符合上述条件，其抵销行为合法有效，您无权要求返还扣除的款项。此时，您需通过还款、协商分期等方式解决原债务问题。
2. 若银行行使抵销权存在瑕疵，您可主张返还或赔偿
若银行存在以下情形，您可要求返还扣除款项或追究其违约责任：
- 未到期债务抵销：如银行在您的债务未到期时提前扣款；
- 未履行通知义务：银行未提前通知您即直接扣款（需您能证明未收到通知）；
- 合同明确禁止抵销：您与银行签订的合同中明确约定“不得擅自抵销”；
- 抵销金额超出债务范围：银行扣除的金额超过您实际欠付的债务本金、利息及合理费用；
- 账户性质特殊：如扣除的账户为社保账户、保证金账户等法律明确禁止抵销的账户。
操作建议：
- 立即联系银行客服，要求提供抵销的法律依据、债务明细及通知记录；
- 核对银行扣除的金额与您实际欠付的债务是否一致；
- 若银行无法提供合法依据或存在上述瑕疵，可向当地银保监会投诉或直接向法院起诉，主张返还不当扣款。
3. 特殊情形：信用卡预授权或错误扣款
若银行扣除的款项涉及信用卡预授权（如酒店押金）或系统错误导致重复扣款，您可直接要求银行撤销交易并返还款项。此类情形不属于债务抵销，银行通常需在3个工作日内处理。
总结：银行债务抵销的合法性需严格依据法律和合同判断。建议您先与银行沟通核实扣款原因及依据，再根据具体情况选择投诉或诉讼途径维护权益。如有进一步疑问，可直接向我咨询具体操作流程。