预付款并非无论哪方违约都不扣费，具体是否扣费需根据合同约定以及违约的具体情形来判断。以下从不同角度为你详细分析：

合同有明确约定的情况

如果合同中明确规定了预付款在违约情况下的处理方式，比如约定了“若买方违约，预付款不予退还；若卖方违约，需双倍返还预付款”等类似条款，那么双方就应当按照合同的约定来执行。这种约定是双方真实意思的表示，只要不违反法律法规的强制性规定，就是合法有效的。

举例：甲乙双方签订了一份买卖合同，约定甲向乙购买一批货物，并支付了预付款10万元。合同中明确规定，若甲在合同约定的交货日期前无故解除合同，则预付款10万元不予退还；若乙未能按照合同约定的时间、质量等条件交付货物，则需双倍返还预付款，即返还20万元。后来，甲因自身原因无故解除了合同，那么根据合同约定，甲支付的10万元预付款乙就有权不予退还。

合同没有明确约定的情况

如果合同中没有对预付款在违约情况下的处理方式作出明确约定，那么就需要根据《中华人民共和国民法典》等相关法律法规的规定，结合违约的具体情形来判断。

1. 买方违约：

   • 如果买方违约导致合同无法履行，且卖方没有过错，那么卖方通常有权保留预付款作为赔偿。这是因为预付款在一定程度上可以视为买方对履行合同的一种担保，当买方违约时，卖方有权要求其承担相应的违约责任，而保留预付款就是一种常见的赔偿方式。
   • 但是，如果卖方因买方违约而遭受的损失小于预付款的金额，那么卖方可能只能保留与损失相当的部分预付款，其余部分应当退还给买方。这是为了防止卖方获得不当利益，保护买方的合法权益。

2. 卖方违约：

   • 如果卖方违约导致合同无法履行，那么买方通常有权要求卖方返还预付款，并可能要求卖方承担违约责任，如支付违约金、赔偿损失等。这是因为卖方作为合同的履行方，有义务按照合同约定的条件交付货物或提供服务，当其违约时，应当承担相应的法律责任。
   • 举例：甲乙双方签订了一份买卖合同，甲支付了预付款5万元。后来，乙因自身原因无法按照合同约定的时间交付货物，构成违约。那么甲就有权要求乙返还预付款5万元，并可能要求乙支付违约金或赔偿因乙违约而给甲造成的损失。

特殊情况

在某些特殊情况下，即使合同没有明确约定，也可能存在一些行业惯例或交易习惯对预付款的处理产生影响。但是，这些行业惯例或交易习惯必须是在双方当事人都知晓并同意的情况下才能适用。如果一方当事人不知道或不同意这些行业惯例或交易习惯，那么就不能将其作为处理预付款的依据。

建议：在签订合同时，双方应当尽可能明确预付款的性质、金额、支付方式以及违约情况下的处理方式等条款，以避免后续发生纠纷。如果合同中没有明确约定，且双方无法就预付款的处理达成一致意见，那么可以寻求法律途径解决纠纷，如通过诉讼或仲裁等方式来维护自己的合法权益。

如果你在合同纠纷方面还有其他问题或需要进一步的法律帮助，可以直接向我咨询。