结论前置：
- 他人未经允许随意取走您银行卡中的钱，属于违法行为。
- 您应立即采取措施保护自己的权益，包括报警和考虑法律途径追责。
详细分析：
首先，从法律的角度来看，无论您是否欠他人钱款，且该钱款是否到期，他人都无权未经您的允许随意取走您银行卡中的资金。这种行为侵犯了您的财产权，是违法的。
一、法律背景
根据《中华人民共和国刑法》的相关规定，盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，都可能构成盗窃罪。虽然在此情况下，对方可能并非以“盗窃”的故意去取钱，但未经允许擅自取用他人财物，仍然可能触犯法律，尤其是当取款金额达到一定数额时。
二、法律建议
立即报警：
- 您应第一时间向当地公安机关报案，说明情况，并提供相关证据，如银行卡交易记录、对方身份信息（如果知道）等。
- 公安机关会对此进行调查，并根据调查结果采取相应的法律措施。
保护证据：
- 保留所有与此次事件相关的证据，包括但不限于银行卡交易明细、短信通知、可能的监控录像等。
- 这些证据将在后续的法律程序中起到关键作用。
考虑法律途径追责：
- 如果报警后问题未得到妥善解决，或者您希望进一步追究对方的法律责任，可以考虑通过民事诉讼或刑事诉讼的方式来解决。
- 在民事诉讼中，您可以要求对方返还非法取走的资金，并可能要求赔偿因此造成的损失。
- 在刑事诉讼中，如果对方的行为构成犯罪，将受到法律的制裁。
三、可能的法律后果
- 对于擅自取走您银行卡中资金的人，如果其行为构成犯罪，将面临刑事处罚，包括但不限于有期徒刑、罚金等。
- 即使其行为不构成犯罪，也可能面临民事赔偿的责任，需要返还非法取走的资金并赔偿您的损失。
四、特别提醒
- 在处理此类事件时，请务必保持冷静，不要采取过激行为。
- 及时咨询专业律师（比如我），以获取更具体的法律建议和帮助。
最后，我想强调的是，无论您与对方之间存在何种经济纠纷，都应该通过合法、正当的途径来解决。擅自取用他人财物绝不是解决问题的办法，反而可能让自己陷入更大的法律困境。如果您有任何法律问题或需要进一步的帮助，请直接向我咨询。