针对您提出的“如果当时没约定退还双倍定金怎么办”的问题，这确实是一个在合同实践中可能遇到的情况。下面，我将结合相关法律知识和实际案例，为您详细解答。
首先，我们需要明确的是，双倍返还定金是有法定条件的。根据《中华人民共和国民法典》的相关规定，通常在收受定金的一方不履行债务，或者履行债务的情况不符合约定，导致合同目的无法实现时，才需要双倍返还定金。这是定金罚则的基本原则，也是保护合同双方权益的重要法律手段。
现在，针对您的情况，如果合同中没有明确约定双倍返还定金的条款，但您认为对方的行为符合上述法定情形（即对方不履行债务或履行债务不符合约定，导致合同目的无法实现），那么您仍然可以根据相关法律主张权利。
具体处理步骤如下：
与对方协商： 首先，您可以尝试与对方进行协商，看是否能够达成一致意见，让对方自愿双倍返还定金。协商是解决纠纷的最直接、最经济的方式。
收集证据： 如果协商无果，您需要开始收集相关证据，以证明对方的行为确实符合双倍返还定金的法定情形。这些证据可能包括：合同文本、付款凭证、双方的沟通记录（如邮件、短信、微信等）、对方违约的证明材料（如照片、视频、第三方鉴定报告等）。
向法院提起诉讼： 在收集到足够证据后，您可以向法院提起诉讼，要求对方双倍返还定金。法院会根据您提供的证据和法律规定，判断对方的行为是否符合双倍返还定金的条件，并作出相应的判决。
举例说明：
假设您与某开发商签订了一份购房合同，并支付了定金。然而，由于开发商自身的原因，无法按时交房，导致合同目的无法实现。此时，即使合同中没有明确约定双倍返还定金的条款，您仍然可以根据《民法典》的相关规定，要求开发商双倍返还定金。如果开发商拒绝，您可以通过法律途径解决，向法院提起诉讼，并提供相关证据证明开发商的违约行为。
不符合法定情形的处理：
如果对方的行为并不符合双倍返还定金的法定情形，那么定金一般按照合同约定处理。如果是收受定金的一方违约，应该把定金退还给对方；如果是给付定金的一方违约了，就不能要求对方返还定金。
综上所述，即使合同中没有明确约定双倍返还定金的条款，只要对方的行为符合法定情形，您仍然可以根据相关法律主张权利。在处理此类纠纷时，建议您保持冷静、理性，通过合法途径维护自己的权益。