关于违约金是否可以要求退还以及是否合法的问题，结论前置如下：
一般情况下，违约金与定金不能同时主张退还：根据《中华人民共和国民法典》的相关规定，定金和违约金在功能上具有一定的重叠性，都是为了补偿因违约造成的损失或对违约方进行惩罚。因此，在合同中既约定了违约金又约定了定金的情况下，一旦违约发生，对方通常只能选择适用其中一项，而不能同时主张退还定金和支付违约金。
特定情况下，可能同时主张违约金和退还部分或全部定金：如果定金的数额不足以弥补违约造成的损失，且非违约方在主张违约金后，其损失仍未得到充分补偿，那么根据《民法典》第五百八十八条的规定，法院可能会根据具体案件的事实和证据，综合判断并允许非违约方在主张违约金的同时，要求部分或全部退还定金，以实现公平合理的补偿。
详细解释与法律背景：
定金的性质与法律规定：定金是一种担保方式，用于确保合同的履行。根据《民法典》第五百八十六条，定金的数额由当事人约定，但不得超过主合同标的额的百分之二十。若给付定金的一方不履行债务，无权请求返还；若收受定金的一方不履行，应双倍返还。
违约金的性质与法律规定：违约金是合同中约定的，一方违约时应支付给对方的一定数额的金钱，具有补偿性和惩罚性。《民法典》第五百八十五条规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
定金与违约金的选择适用：根据《民法典》第五百八十八条，当事人既约定违约金又约定定金的，违约时对方可以选择适用违约金或者定金条款。这一规定体现了公平和避免重复补偿的原则。
法律建议与可能后果：
合同约定明确：如果合同中明确规定了适用违约金后不能要求退还定金，那么应严格按照合同约定执行。在这种情况下，如果违约方已经支付了定金，且合同中有明确约定，那么违约方通常无权要求退还定金。
合同无明确约定：在没有明确约定的情况下，守约方可以根据《民法典》的规定，选择适用违约金或定金条款。但一旦选择其中之一，通常不能再要求适用另一项。然而，如果定金不足以弥补损失，并经过法院的综合裁量，可能会在主张违约金的同时支持退还定金的请求。
实际损失考量：在决定是否要求退还定金或支付违约金时，应充分考虑实际损失的大小。如果定金或违约金的数额与实际损失相差悬殊，那么可能需要通过法律途径进行调整，以确保公平合理的补偿。
总结与进一步思考：
违约金与定金的选择适用是一个复杂而重要的问题，它涉及到合同双方的权益平衡和公平原则的实现。在处理这类问题时，应充分考虑合同约定、法律规定以及实际损失等因素，以确保做出合理合法的决策。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。