关于合同退费违约金是按总金额算还是剩余金额算的问题，并不能一概而论，这主要取决于合同中的具体约定以及相关的法律法规。以下是对此问题的详细分析：
依据合同约定：
- 如果合同中明确规定了违约金的计算方式，比如是按照合同总金额的一定比例，或者是按照剩余未履行部分的金额来计算，那么应当严格按照合同中的约定来执行。
- 如果合同中没有明确约定违约金的计算方式，那么就需要根据相关的法律法规以及公平正义的原则，结合实际损失、履行情况等因素来综合判断。
法律法规的考量：
- 根据《民法典》的相关规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
- 如果约定的违约金低于造成的损失，当事人可以请求人民法院或者仲裁机构予以增加；约定的违约金过分高于造成的损失，当事人可以请求人民法院或者仲裁机构予以适当减少。
实际案例的参考：
- 在实际案例中，违约金的计算方式往往因合同类型和具体条款的不同而有所差异。有些合同可能会按照总金额的一定比例来计算违约金，而有些则可能会按照实际损失或者剩余未履行部分的金额来计算。
综上所述，合同退费违约金的计算方式并不是固定的，而是需要根据合同中的具体约定以及相关的法律法规来综合判断。因此，在处理此类问题时，建议首先仔细审查合同条款，明确违约金的计算方式；如果合同中没有明确约定，则需要结合实际情况和法律法规来做出合理的判断。如果您对此类问题有疑问或需要进一步的法律帮助，请直接向我咨询。