在支付首付款时退还定金是否合法，这主要取决于合同中的具体约定以及相关法律法规的规定，不能一概而论。以下从几个不同角度进行分析：
合同约定优先：
- 如果双方在合同中明确约定了，在支付首付款时可以退还定金，或者约定了某些特定条件下（如买方因不可抗力无法继续履行合同）可以退还定金，那么按照合同约定执行即可，这种情况下退还定金是合法的。
- 反之，如果合同中没有相关约定，或者约定了定金不予退还的条款，那么在没有法定解除合同事由的情况下，卖方通常有权拒绝退还定金。
法律法规的规定：
- 根据《中华人民共和国民法典》中关于定金的规定，定金是作为债权的担保而存在的。如果给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。
- 这意味着，在一般情况下，如果是因为买方的原因导致合同无法继续履行，买方通常无权要求退还定金；而如果是因为卖方的原因导致合同无法继续履行，卖方则需要双倍返还定金。
特殊情况下的处理：
- 如果双方在合同履行过程中出现了不可抗力等法定解除合同的事由，导致合同无法继续履行，那么根据法律规定，双方均有权解除合同，且在这种情况下，定金的处理方式可能会根据具体情况和双方协商的结果来确定，有可能退还，也有可能不退还或者部分退还。
- 另外，如果双方在合同履行过程中出现了争议，且无法通过协商解决，那么任何一方均有权向法院提起诉讼或者申请仲裁，由法院或者仲裁机构根据合同约定和法律规定来裁决定金是否退还以及退还的金额。
建议：
- 在签订合同时，双方应当明确约定定金的退还条件和方式，以避免后续出现争议。
- 如果出现了需要退还定金的情况，双方应当首先通过协商来解决；如果协商不成，可以考虑通过法律途径来维护自己的合法权益。
如有任何关于合同纠纷的法律问题，欢迎直接向我咨询，我会根据你的具体情况提供专业的法律建议。