当您想要退回别人给您银行卡转账的钱时，可以按照以下步骤操作：

一、与转账方协商

首先，建议您直接联系转账方，明确表达您希望退回转账款项的意愿。您可以请求转账方通过其转账银行的相关手续进行撤回或退款操作。这一步骤需要转账方配合，并按照银行的规定和流程来办理。如果转账方同意并积极配合，那么退款流程可能会相对顺利。

二、联系银行

如果与转账方协商无果，或者转账方无法直接进行退款操作，您可以携带本人有效身份证件及银行卡前往转账银行的营业网点。向银行工作人员详细说明情况，并请求他们协助办理转账退回事宜。银行工作人员会根据您提供的信息进行查询和处理，这一过程中可能需要一定的时间和审核流程，请您耐心等待。

另外，如果您使用的是手机银行进行转账，也可以尝试在相应模块中申请转账退回。不过请注意，不同银行的具体操作流程和要求可能会有所差异，建议您在操作前仔细阅读银行的相关指南或咨询银行客服。

三、法律途径

如果以上两种方法都无法解决问题，且转账是基于错误操作（如转错对象、金额有误等），您有权要求对方返还。此时，您可以先与接收方进一步沟通，说明情况并要求其主动退还。若对方拒绝退款，您可以收集转账记录、沟通记录等相关证据，通过向法院提起不当得利之诉来维护自己的权益。

总的来说，银行卡转账后的退款流程需要根据具体情况来确定。在处理过程中，建议您保持冷静、理性，并尽量与转账方和银行保持沟通，以便更好地解决问题。