结论：弟弟长期用你的卡，且给别人借的款也打进来，而你并不知情的情况下，一般不需要承担还款责任，但具体还需根据实际情况来判断。以下从不同角度为你详细分析：
一、银行卡使用的法律性质
银行卡是个人身份和财产的重要凭证，具有严格的身份属性。根据相关法律法规，银行卡应当由本人使用，不得出租、出借或转让给他人。如果你弟弟未经你同意，擅自使用你的银行卡进行借款和收款，这本身就违反了银行卡的使用规定。
二、不知情情况下的责任承担
无过错原则：在民事法律关系中，通常遵循无过错原则，即如果一方没有过错，就不应当承担责任。在你并不知情的情况下，弟弟使用你的银行卡进行借款和收款，你并没有过错，因此一般不需要承担还款责任。
表见代理的例外：然而，也存在一种特殊情况，即表见代理。如果第三方有理由相信你弟弟有权使用你的银行卡进行借款（例如，你弟弟长期以你的名义进行经济活动，且你未提出异议），那么第三方可能主张你承担还款责任。但这种情况需要第三方提供充分的证据来证明其有理由相信你弟弟有权代理你进行借款。
三、实际案例中的考量因素
在实际案例中，法院在判断你是否需要承担还款责任时，会综合考虑以下因素：
你是否知情：如果你确实不知情，且没有从借款中获得任何利益，那么法院通常会认定你不需要承担还款责任。
银行卡的使用情况：法院会审查银行卡的使用记录，包括借款和收款的金额、时间、频率等，以判断你是否对银行卡的使用情况有所了解或应当了解。
你与弟弟的关系：虽然你与弟弟是亲属关系，但这并不直接决定你是否需要承担还款责任。法院会更关注你与弟弟之间的经济往来是否独立，以及你是否对弟弟的经济行为有所控制或影响。
四、建议与措施
收集证据：如果你担心可能面临法律纠纷，建议尽快收集相关证据，如银行卡的使用记录、你与弟弟的沟通记录等，以证明你并不知情且没有过错。
与弟弟沟通：与弟弟进行坦诚的沟通，了解他使用你银行卡的具体情况和目的，并要求他尽快停止这种行为，以避免给你带来不必要的麻烦。
咨询专业律师：如果你对法律问题存在疑虑或担忧，可以直接向我咨询。我可以根据你的具体情况，为你提供更详细、更专业的法律建议。
总结：在不知情的情况下，弟弟使用你的银行卡进行借款和收款，你一般不需要承担还款责任。但为了确保自身权益不受损害，建议你尽快收集证据、与弟弟沟通，并在必要时咨询专业律师。