结论：别人多次从您的卡上借钱这一行为本身不一定直接构成犯罪，但可能涉及多种法律关系和风险，具体是否违法需根据实际情况判断。以下从不同角度为您详细分析：
一、若您知情并同意出借银行卡
民事法律关系：
- 在这种情况下，您与借款人之间形成的是借贷关系。您作为出借人，有权要求借款人按照约定的期限和方式归还借款。
- 如果借款人未能按时归还，您可以通过民事诉讼途径来维护自己的权益，要求借款人承担还款责任。
潜在风险：
- 资金安全风险：虽然您知情并同意出借，但资金的实际使用和归还仍依赖于借款人的信用和还款能力。如果借款人出现违约，您可能面临资金损失。
- 法律责任风险：如果借款人利用您的银行卡进行非法活动（如洗钱、诈骗等），而您未能及时发现并制止，您可能因疏忽或过失而承担一定的法律责任。尽管这种情况较为少见，但仍需警惕。
二、若您不知情或未同意出借银行卡
可能构成犯罪：
- 盗窃罪：如果借款人未经您同意，擅自使用您的银行卡进行取款或转账，且数额较大，可能构成盗窃罪。根据《中华人民共和国刑法》的相关规定，盗窃公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。
- 信用卡诈骗罪：如果借款人使用您的银行卡进行消费或取现，且数额较大，同时符合信用卡诈骗罪的其他构成要件（如冒用他人信用卡），则可能构成信用卡诈骗罪。根据《中华人民共和国刑法》的相关规定，进行信用卡诈骗活动，数额较大的，处五年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金。
民事赔偿：
- 无论借款人是否构成犯罪，您都有权要求其赔偿因擅自使用您的银行卡而给您造成的损失。这包括但不限于资金损失、因处理此事而产生的合理费用等。
三、建议措施
立即报警：
- 如果您发现银行卡被他人擅自使用，应立即向公安机关报案，并提供相关证据（如银行交易记录、监控录像等），以便公安机关及时调查处理。
联系银行：
- 同时，您应联系银行，说明情况并要求银行采取相应措施（如冻结账户、挂失银行卡等），以防止损失进一步扩大。
收集证据：
- 在处理此类事件时，您应尽可能收集相关证据，以便在后续的法律程序中维护自己的权益。这包括但不限于银行交易记录、聊天记录、证人证言等。
咨询专业律师：
- 如果您对此事的处理存在疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据您的具体情况，为您提供专业的法律意见和帮助。
最后，别人多次从您的卡上借钱是否违法，取决于您是否知情并同意以及借款人的具体行为。为了保护自己的合法权益，建议您在处理此类事件时保持警惕，及时采取措施并咨询专业律师。