核心结论：针对有人拿你手机操作导致银行卡泄露、钱被套走的情况，责任归属需根据具体情形来判断，可能涉及的责任主体包括操作手机的人、银行以及你自己。以下是对各种可能情况的分析：

1. 操作手机的人的责任：

   • 法律背景：如果操作手机的人未经你允许，擅自使用你的手机进行非法操作，导致你的银行卡信息泄露和资金损失，那么该人可能构成盗窃罪或诈骗罪（具体取决于其操作方式和目的）。根据《中华人民共和国刑法》的相关规定，盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。如果以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的，则构成诈骗罪，同样会受到相应的刑事处罚。
   • 法律建议：你应立即向公安机关报案，提供相关证据（如手机操作记录、银行交易记录等），以便公安机关能够迅速展开调查，追回损失，并对犯罪嫌疑人进行惩处。

2. 银行的责任：

   • 法律背景：银行作为金融机构，有义务保障客户资金的安全。如果银行在安全管理方面存在漏洞，导致你的银行卡信息被泄露和资金被套走，那么银行可能需要承担一定的民事赔偿责任。然而，这种责任通常是在银行存在过错或疏忽的情况下才会被认定。
   • 法律建议：你可以与银行进行沟通，要求银行提供相关的交易记录和安全措施说明。如果银行拒绝承担责任或无法提供合理的解释，你可以考虑通过法律途径来维护自己的权益，如向消费者权益保护机构投诉或提起民事诉讼。

3. 你自己的责任：

   • 法律分析：虽然主要责任可能在于操作手机的人和银行，但如果你自己存在疏忽或过错，如将手机随意放置、未设置密码或密码过于简单等，导致他人能够轻易获取你的手机并进行非法操作，那么你也可能需要承担一定的责任。不过，这种责任通常较轻，且主要是在民事赔偿方面。
   • 法律建议：为了避免类似情况的发生，你应加强自我保护意识，妥善保管好自己的手机和银行卡信息。设置复杂的密码、定期更换密码、不随意将手机借给他人使用等都是有效的预防措施。

后续行动建议：

• 立即向公安机关报案，提供相关证据以便调查。
• 与银行沟通，要求银行提供交易记录和安全措施说明，并考虑是否需要采取法律手段维护自己的权益。
• 加强自我保护意识，妥善保管好个人财物和信息。

如果你有任何进一步的疑问或需要更多的法律帮助，请直接向我咨询。