一般违约扣了违约金后，剩下的款项是否能当场退还，取决于合同的具体约定及实际情况。以下是对此问题的详细分析：
一. 违约金的性质与划扣
违约金是在合同中约定的一种惩罚性赔偿，用于约束合同双方履行合同条款。当一方违约时，守约方有权依据合同条款要求违约方支付违约金。违约金的划扣通常是基于合同的明确约定，并且这一行为在合法合规的情况下是不可逆的。
二. 剩余款项的退还条件
合同明确约定：若合同中明确规定了违约金的金额以及支付方式，并且对于支付违约金后剩余款项的退还事宜也有明确的约定，那么按照合同约定，剩余款项是有可能退还的。
双方协商一致：在合同没有明确约定的情况下，双方可以就剩余款项的退还进行协商。如果协商达成一致，可以签订书面协议明确退还的金额、时间和方式等。
三. 实际情况的考量
损失弥补情况：即使支付了违约金，如果守约方因违约行为遭受了额外的经济损失，且这些损失未能通过违约金得到完全弥补，那么守约方可能会要求保留剩余款项以弥补其损失。
合同履行程度：如果合同已经部分履行，且剩余款项与已履行部分存在直接关联，那么守约方可能会根据合同履行的实际情况来决定是否退还剩余款项。
四. 法律途径与救济
如果双方对剩余款项的退还存在争议，且无法通过协商达成一致，那么受损害方可以依据合同中的仲裁条款申请仲裁，或者向有管辖权的法院提起诉讼。在仲裁或诉讼过程中，法院或仲裁机构会根据事实和法律规定判定违约方应承担的责任，包括是否退还剩余款项以及退还的具体数额等。
我的观点：
一般情况下，如果合同没有明确约定且双方未能协商一致，那么违约扣了违约金后剩余的款项可能不会当场退还。
建议：在处理此类问题时，双方应首先查看合同条款，明确双方的权利和义务。如果存在争议，应尝试通过协商达成一致。若协商不成，可以寻求法律途径解决。如有进一步需要，您可以继续咨询我。