结论：违约金一万退五万是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、合同自由原则与违约金约定
合同自由原则：在合同法中，合同自由原则是一项基本原则，即当事人有权自由约定合同的内容，包括违约金的数额。因此，如果双方当事人在合同中明确约定了违约金为一万，但在特定情况下（如合同解除、违约方履行了部分义务等）又约定退还五万，这本身并不违反合同自由原则。
违约金约定合法性：然而，违约金的约定并非完全无限制。根据《中华人民共和国民法典》的相关规定，约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。这意味着，如果退还五万的违约金明显高于实际损失，且违约方提出异议，法院或仲裁机构可能会对违约金数额进行调整。
二、违约金退还的合法性分析
合同解除情况：如果合同因某种原因被解除，且双方约定在合同解除时退还部分或全部违约金，这种约定是合法的。但退还的数额应当合理，不得违反公平原则和诚实信用原则。
违约方履行部分义务：如果违约方在违约后履行了部分合同义务，且双方约定在这种情况下退还部分违约金，这种约定也是合法的。但同样，退还的数额应当与违约方履行的义务相匹配，不得显失公平。
显失公平情况：如果退还五万的违约金明显高于实际损失，且没有合理的解释或依据，这种约定可能因显失公平而被法院或仲裁机构撤销或调整。
三、实际操作建议
审查合同条款：首先，应仔细审查合同中的违约金条款，了解双方的权利和义务。如果合同中有关于违约金退还的明确约定，应按照约定执行。
评估实际损失：如果违约金退还的数额存在争议，应评估实际损失的大小。这有助于判断违约金是否过分高于造成的损失，从而为法院或仲裁机构的裁决提供依据。
协商与调解：在争议发生时，双方可以尝试通过协商或调解解决争议。这有助于节省时间和成本，并维护双方的良好关系。
寻求法律救济：如果协商和调解无法解决争议，违约方或守约方可以向法院提起诉讼或向仲裁机构申请仲裁。在诉讼或仲裁过程中，应提供充分的证据证明自己的主张。
示例说明：假设甲乙双方签订了一份买卖合同，约定违约金为一万。后因甲违约，乙要求甲支付违约金。但双方又协商约定，如果甲在特定时间内履行了部分义务，乙将退还甲五万违约金（其中包含甲已支付的一万违约金及额外退还的四万）。在这种情况下，如果额外退还的四万违约金并不明显高于乙的实际损失，且双方自愿达成此约定，则该约定是合法的。但如果额外退还的四万违约金明显高于乙的实际损失，且甲提出异议，则法院或仲裁机构可能会对违约金数额进行调整。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。