办的游泳卡用了一次后，剩下的钱在特定条件下是可以退的。这主要取决于合同中的约定、商家是否存在违约行为，以及是否符合法定解除合同的情形。以下是对这一问题的详细分析：
一、有明确约定可退的情况
如果在办理游泳卡时，商家与消费者签订的合同或相关书面、口头约定中明确表示在一定条件下可以退卡（如开卡后一定期限内未使用、商家自身原因导致的无法正常消费等），则消费者有权要求商家按照约定退卡退款。这种情况下，退款流程通常会比较明确，消费者只需按照合同约定的流程操作即可。
二、没有约定，但符合法定解除合同情形
商家违约：
- 根据《民法典》关于合同解除的规定，如果商家存在违约行为（如擅自更改营业时间、泳池水质长期不达标等）导致合同目的无法实现，消费者可以要求解除与商家之间的服务合同关系，并要求商家退还相应款项。例如，若商家因故长时间关闭游泳馆，导致消费者无法正常使用游泳卡，那么消费者有权要求退款。
格式条款无效：
- 若商家设置的格式条款中存在排除消费者主要权利的条款（如“一经办卡，概不退费”），根据法律规定，这类格式条款是无效的。消费者可以主张该条款无效，进而要求商家退卡退款。在签订合同时，消费者应仔细阅读合同条款，特别是关于退卡、退款的部分，以免陷入不利境地。
三、一般消费情形下的退款可能性
在既没有约定可退卡的情况，也不存在商家违约等法定解除合同的事由时，退卡可能较为困难。但从合理性和人性化的角度出发，如果消费者因突发重大疾病（有医院诊断证明）确实无法再继续使用游泳卡，可与商家协商看能否部分退款或采取其他灵活处理方式。这种情况下，退款的成功与否很大程度上取决于商家的态度和政策。
四、退卡操作流程及注意事项
与经营者协商：
- 首先应与商家进行友好协商，明确表达退款意愿，并了解退款的具体流程和时间。在协商过程中，消费者应保持冷静和理性，避免与商家发生不必要的争执。
咨询退费政策：
- 详细了解商家的退费政策，包括退费的条件、手续、要求以及退费金额等信息。这有助于消费者在退款过程中做到心中有数，避免被商家误导或欺骗。
收集退费资料：
- 按照商家的要求准备退费所需的全部资料，如身份证件、会员卡、收据等。这些资料是证明消费者身份和购买行为的重要依据，务必妥善保管。
提交退费申请：
- 将退费申请书及相关文件提交给商家，可通过在线提交、邮寄、传真或现场办理等方式进行。在提交申请时，消费者应确保申请书的格式和内容符合商家的要求，以免因格式问题导致申请被驳回。
审核和确认退费：
- 等待商家对退费申请进行审核，并在确认退款金额后留意退款的时间和方式通知。在审核过程中，商家可能会要求消费者提供额外的资料或进行面谈，消费者应积极配合。
签署退费协议并保留凭证：
- 在确认退款金额后，与商家签署退款协议，并妥善保管退款凭证和相关文件以备查。这些凭证和文件是消费者维护自己权益的重要依据，务必妥善保管。
五、维权途径
- 在整个退款过程中，务必保留好所有相关证据（如游泳卡、购买凭证、与商家的沟通记录等）。这些证据是消费者在维权过程中证明自己权益的重要依据。
- 如果商家拒绝退款或拖延退款，可以拨打12315消费者协会热线寻求帮助，或者向当地市场监管部门投诉。这些机构会为消费者提供必要的支持和帮助，维护消费者的合法权益。
- 在必要时，还可以选择通过法律途径维护自己的合法权益，如向法院提起诉讼要求退款。在诉讼过程中，消费者应提供充分的证据证明自己的权益受到了侵害，并请求法院判决商家承担相应的法律责任。
总结来看，办的游泳卡在符合特定条件的情况下是可以退的。消费者在退款过程中应了解相关法律法规，合理合法地维护自己的权益，并按照规定的流程进行操作以确保退款顺利进行。如果您在退款过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。