结论：是否需要摊钱取决于您与合伙人之间的具体约定以及客户退卡的具体情况。以下从不同角度进行分析：
一、基于合伙协议或约定的分析
有明确约定：
- 如果您与合伙人之间有明确的合伙协议，且协议中规定了关于客户退卡时费用分摊的具体条款，那么应当按照协议中的约定来执行。例如，协议可能规定退卡费用由双方按出资比例分摊，或者由某一方单独承担。
无明确约定：
- 如果合伙协议中没有明确规定客户退卡时的费用分摊方式，那么需要双方协商解决。在这种情况下，您可以与合伙人根据实际情况，如各自的出资比例、对合伙业务的贡献程度等，来协商确定费用分摊的比例。
二、基于客户退卡原因的分析
客户因个人原因退卡：
- 如果客户是因为个人原因（如搬家、不再需要服务等）而要求退卡，且这种退卡行为并非由于您或合伙人的过错导致的，那么根据公平原则，您和合伙人可能需要共同承担退卡费用。但具体承担比例仍需根据合伙协议或双方协商来确定。
客户因服务问题退卡：
- 如果客户是因为您或合伙人提供的服务存在问题（如服务质量不达标、服务态度不好等）而要求退卡，那么根据过错原则，过错方（即提供服务存在问题的一方）可能需要承担更多的退卡费用，甚至全部费用。
三、法律建议
审查合伙协议：
- 首先，建议您仔细审查与合伙人之间的合伙协议，查看是否有关于客户退卡费用分摊的具体条款。如果有，按照协议执行即可。
与合伙人协商：
- 如果合伙协议中没有明确规定，或者规定不明确，建议您与合伙人进行友好协商，共同确定一个合理的费用分摊比例。在协商过程中，可以充分考虑各自的出资比例、对合伙业务的贡献程度以及客户退卡的具体原因等因素。
保留相关证据：
- 无论最终确定如何分摊退卡费用，都建议您保留好相关证据，如合伙协议、客户退卡申请、费用支出凭证等。这些证据在将来可能发生的纠纷中将起到至关重要的作用。
寻求法律帮助：
- 如果您与合伙人之间无法就费用分摊问题达成一致意见，或者您认为合伙人的行为侵犯了您的合法权益，那么您可以考虑寻求法律帮助。作为专注于合同纠纷领域的律师，我可以为您提供专业的法律咨询和诉讼服务，帮助您维护自己的合法权益。
最后，希望以上分析能对您有所帮助。如果您有任何其他问题或需要进一步的法律帮助，请随时向我咨询。