结论：在此情况下，您不退定金的行为是否合法，主要取决于买方反悔的具体原因以及双方是否有其他约定。若买方无正当理由反悔，您不退定金通常是合法的；若因不可归责于双方的原因导致合同无法订立，则您可能需要退还定金。
分析说明：
定金的基本性质：
- 定金是合同当事人一方为了证明合同的成立和保证合同的履行，预先向对方支付的一定数额的金钱。
- 根据《中华人民共和国民法典》的相关规定，定金具有担保性质，给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。
买方反悔的情况：
- 无正当理由反悔：如果买方在没有合理理由的情况下反悔，不愿意继续购买房屋，那么根据定金的性质，您作为收受定金的一方，有权不退还定金。
- 因不可归责于双方的原因反悔：如果买方反悔是因为出现了不可抗力或者其他不能归责于双方的原因，导致合同无法订立，那么根据公平原则，您可能需要退还定金。但这种情况需要具体分析，且通常双方会协商解决。
未签合同的影响：
- 虽然双方未签订正式的房屋买卖合同，但定金合同是独立存在的。只要定金合同符合法律规定的要件（如双方意思表示真实、定金数额合法等），就具有法律效力。
- 因此，即使未签正式合同，买方反悔时，您仍有权根据定金合同的约定处理定金。
特殊场景：
- 如果双方在收取定金时，有明确的书面约定（如定金不退的条款），且该约定不违反法律、行政法规的强制性规定，那么您不退定金的行为将受到法律保护。
- 如果买方能够证明您在收取定金过程中存在欺诈、胁迫等违法行为，那么买方有权要求返还定金，甚至可能要求您承担其他法律责任。
行动建议：
- 与买方协商：首先，您可以尝试与买方进行协商，了解其反悔的具体原因，并寻求双方都能接受的解决方案。
- 保留证据：无论最终是否退还定金，您都应保留好与买方沟通的记录、定金收据等相关证据，以备不时之需。
- 咨询专业意见：如果双方无法达成一致，或者您对定金的处理存在疑问，建议咨询专业律师的意见，以便更好地维护自己的合法权益。
后续思考依据：
- 在处理此类纠纷时，应充分考虑定金的性质、买方反悔的原因以及双方是否有其他约定等因素。
- 同时，也要关注相关法律法规的变化和司法实践的发展，以便更准确地判断和处理类似纠纷。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。