结论：卡主是否承担责任，需根据具体情况判断，主要看卡主是否存在过错或违法行为。以下从不同角度进行分析：
卡主无过错且未参与诈骗
- 法律背景：如果卡主只是正常出借银行卡，对诈骗行为完全不知情，且没有从中获取任何非法利益，那么根据《中华人民共和国民法典》中关于侵权责任的规定，卡主一般不承担法律责任。因为侵权责任的构成需要行为人存在过错，并且该过错与损害结果之间存在因果关系。在此情况下，卡主既无过错，也未实施侵权行为，所以不应承担责任。
- 举例说明：比如，小张将自己的银行卡借给了好朋友小李，小李却用这张卡进行了诈骗活动。小张对此完全不知情，也没有从小李的诈骗行为中获得任何好处。那么，小张就不需要为小李的诈骗行为承担责任。
卡主存在过错或参与诈骗
- 法律背景：如果卡主明知对方将用于诈骗等违法犯罪活动，仍然出借银行卡，或者卡主与诈骗分子共谋，共同实施诈骗行为，那么卡主就构成了共同犯罪或者帮助犯，需要承担相应的刑事责任。同时，根据《中华人民共和国民法典》的相关规定，卡主还可能需要承担民事赔偿责任，赔偿受害人的损失。
- 举例说明：比如，小王知道小赵要实施诈骗活动，仍然将自己的银行卡借给小赵使用，并帮助小赵转移诈骗所得的资金。那么，小王就构成了诈骗罪的共犯，需要承担刑事责任。同时，如果受害人因为小王的帮助行为遭受了损失，小王还需要承担民事赔偿责任。
- 特殊情况：即使卡主没有直接参与诈骗，但如果其出借银行卡的行为违反了相关法律法规（如《中国人民银行关于进一步加强支付结算管理防范电信网络新型违法犯罪有关事项的通知》等），也可能面临行政处罚，如罚款、没收违法所得等。不过，这种行政处罚并不直接等同于对诈骗行为的刑事责任或民事赔偿责任。
卡主退回款项的影响
- 法律分析：卡主退回10000元款项，这一行为本身并不能直接决定卡主是否承担责任。它可能作为卡主悔过表现的一个情节，在量刑或民事赔偿时予以考虑。但如果卡主退回款项是在被警方查处或受到法律制裁后进行的，那么这一行为可能不会对其法律责任产生太大影响。
- 举例说明：假设小陈出借银行卡给诈骗分子，并因此获得了非法利益。后来，小陈在得知自己的行为可能构成犯罪后，主动退回了部分款项。然而，这并不能改变小陈已经构成犯罪的事实，他仍然需要承担相应的刑事责任和民事赔偿责任。不过，在量刑时，法院可能会考虑小陈的悔过表现，对其从轻处罚。
建议：
- 如果您是卡主，且对出借银行卡的行为可能涉及的法律责任有疑问，建议立即咨询专业律师，了解自己的法律地位和可能面临的法律责任。
- 如果您是受害人，且认为卡主应承担责任，建议收集相关证据（如银行卡交易记录、聊天记录等），并向警方报案或向法院提起诉讼，以维护自己的合法权益。
后续行动：
- 对于卡主而言，应积极配合警方的调查工作，如实陈述事实，提供相关证据。
- 对于受害人而言，应保持冷静，及时收集证据，并寻求法律援助或咨询专业律师，以便更好地维护自己的权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。