结论：定金是否能退回，取决于具体情况，包括定金的性质、合同的具体条款以及双方协商的结果等。以下从不同角度进行分析：
一、定金性质与法律规定
定金罚则：
- 根据《中华人民共和国民法典》的相关规定，定金具有担保性质。如果给付定金的一方不履行约定的债务，无权要求返还定金；收受定金的一方不履行约定的债务，应当双倍返还定金。
- 这意味着，如果是因为您的原因（即给付定金的一方）不想要对方继续施工，且合同中没有其他特别约定，那么您可能无权要求返还定金。
定金与订金的区别：
- 定金具有法律上的担保性质，而订金则通常被视为预付款，不具有担保性质。
- 如果合同中明确写的是“订金”，且没有约定定金罚则，那么在双方协商一致的情况下，订金可能是可以退还的。
二、合同具体条款
合同中的定金条款：
- 仔细审查合同中关于定金的条款，包括定金的金额、支付方式、退还条件等。
- 如果合同中有明确规定在特定情况下可以退还定金，那么您可以依据合同条款要求退还。
合同解除条款：
- 合同中可能还包含了解除合同的条款，包括解除合同的条件、程序以及解除后的后果等。
- 如果合同中有规定在特定情况下可以解除合同并退还定金，那么您可以依据这些条款来操作。
三、双方协商与沟通
与对方协商：
- 在决定不想要对方继续施工后，首先尝试与对方进行友好协商，说明原因并寻求解决方案。
- 如果对方同意退还定金，那么问题就得到了解决。
协商不成时的处理：
- 如果协商不成，您可以考虑通过法律途径来解决纠纷。
- 在此之前，建议您收集好相关证据，如合同、支付定金的凭证、与对方的沟通记录等，以备不时之需。
四、特殊情况下的定金退还
对方违约：
- 如果是因为对方的原因（如施工能力不足、施工质量问题等）导致您不想要对方继续施工，且合同中有约定对方违约时定金的处理方式，那么您可以依据合同要求对方退还定金或双倍返还定金。
不可抗力因素：
- 如果因为不可抗力因素（如自然灾害、政策变化等）导致合同无法继续履行，且双方均无过错，那么定金的处理方式可能需要根据具体情况和合同约定来确定。
建议：在处理此类问题时，建议您首先仔细审查合同条款，了解定金的性质和退还条件；其次，尝试与对方进行友好协商，寻求解决方案；最后，如果协商不成，可以考虑通过法律途径来解决纠纷。如果您在此过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。