购买游泳卡一次没有使用，退费时是否需要扣违约金，应当根据具体情况来确定：

1. 双方有约定违约金且约定未使用可退费的情况：

   • 如果商家和消费者在购买游泳卡时，明确约定了违约金条款，并且该条款中明确指出，在消费者未使用游泳卡的情况下，商家应当退费，那么在此情况下，消费者有权要求商家按照约定支付违约金。这是因为违约金是双方当事人在合同中约定的违约承担方式，一旦一方违约，守约方就有权要求违约方按照合同的约定支付违约金。

2. 双方没有约定违约金的情况：

   • 如果商家和消费者在购买游泳卡时，没有约定违约金条款，那么在消费者未使用游泳卡并要求退费的情况下，商家只能按照实际退费金额进行退费，而无法要求消费者支付违约金。因为违约金并非法定，而是一种约定的违约承担方式，没有约定则无法适用。

法律背景与建议：

• 法律背景：根据《中华人民共和国民法典》的相关规定，合同是双方当事人意思表示一致的协议，合同中的条款对双方当事人具有法律约束力。如果合同中明确约定了违约金条款，并且该条款不违反法律、行政法规的强制性规定，那么该条款就是有效的，双方当事人应当遵守。
• 建议：在购买游泳卡或其他预付卡时，消费者应当仔细阅读合同条款，特别是关于退费和违约金的条款。如果合同中没有明确约定或者约定不明确，消费者可以与商家进行协商，要求商家在合同中明确相关条款。同时，消费者也应当保留好相关证据，如合同、付款凭证等，以便在发生纠纷时维护自己的合法权益。

可能的法律后果：

• 如果商家拒绝按照合同约定退费或支付违约金，消费者可以通过法律途径维护自己的权益，如向消费者协会投诉、向工商行政管理部门举报或者向人民法院提起诉讼等。
• 如果商家存在欺诈行为或者违反相关法律法规的规定，还可能面临行政处罚或者刑事责任。

综上所述，购买游泳卡一次没有使用退费时是否需要扣违约金，取决于双方是否有约定违约金条款以及该条款的具体内容。消费者在购买预付卡时应当仔细阅读合同条款并保留好相关证据以便维护自己的合法权益。如有任何法律问题，可以直接向我咨询。