结论：定金是否退还，主要取决于双方是否有明确的约定以及买方违约的具体情况。以下分情况详细说明：
双方有明确约定：
- 如果在房屋买卖合同或定金协议中，双方明确约定了定金退还的条件和方式，那么应当遵循这些约定。例如，如果约定了“若买方因个人原因放弃购买，定金不予退还”，那么在这种情况下，定金通常是不予退还的。
- 反之，如果约定了“若买方在特定条件下放弃购买，定金可以退还”，那么只要满足这些条件，定金就应当退还。
双方没有明确约定：
- 在没有明确约定的情况下，根据《中华人民共和国民法典》的相关规定，定金作为债权的担保，当给付定金的一方（即买方）不履行约定的债务时，无权要求返还定金；收受定金的一方（即卖方）不履行约定的债务的，应当双倍返还定金。
- 在您的情况下，如果买方已经支付了定金但随后表示不要房子了，这通常被视为买方不履行约定的债务。因此，除非双方有其他约定或者存在其他特殊情况（如卖方存在过错导致买方无法购买等），否则买方通常无权要求退还定金。
特殊情况考虑：
- 如果买方放弃购买是因为卖方存在过错（如卖方隐瞒房屋重大瑕疵、无法按时交付房屋等），那么买方有权要求退还定金，甚至可能要求卖方承担违约责任。
- 另外，如果双方能够协商一致，也可以就定金的退还问题达成新的协议。
法律建议：
- 在处理此类问题时，建议您首先回顾双方签订的房屋买卖合同或定金协议，查看是否有关于定金退还的明确约定。
- 如果没有明确约定，您可以考虑与买方进行协商，看是否能够就定金的退还问题达成一致意见。
- 如果协商无果，且您认为买方存在违约行为而您无过错，您可以考虑通过法律途径维护自己的权益。但在此之前，建议您咨询专业律师以获取更具体的法律建议。
可能后果：
- 如果买方坚持要求退还定金而您拒绝，且双方无法协商一致，买方可能会选择通过法律途径解决争议。这可能会导致您需要投入时间和精力来应对法律诉讼，并可能承担一定的法律费用。
- 如果最终法院判决买方无权要求退还定金，那么您将保留定金；如果判决您需要退还定金或承担其他责任，那么您将需要按照判决履行义务。
希望以上分析能够对您有所帮助。如果您有任何其他问题或需要进一步的法律建议，请随时向我咨询。