结论：并非只要一方违约就可要求双倍返还定金，是否可以要求双倍返还定金，需根据违约方的身份、违约行为是否导致合同目的无法实现等因素综合判断。以下为具体分析：

一、定金罚则的基本规定

根据《中华人民共和国民法典》第五百八十七条，定金的处罚规则如下：

1. 收受定金方违约：若收受定金的一方不履行债务或履行不符合约定，导致合同目的无法实现，应双倍返还定金。
2. 支付定金方违约：若支付定金的一方不履行债务或履行不符合约定，导致合同目的无法实现，无权请求返还定金。

二、双倍返还定金的适用条件

1. 存在合法有效的定金合同：定金合同需以书面形式明确约定，且定金数额不得超过主合同标的额的20%。这是定金罚则适用的前提条件，若未以书面形式约定或定金数额超过法定限额，则可能无法适用定金罚则。
2. 违约行为导致合同目的无法实现：仅当违约行为致使合同无法继续履行时，方可主张双倍返还定金。例如，卖方未交付货物构成根本违约，买方有权要求双倍返还；但若卖方延迟交货且买方接受，则不适用该规则。在您描述的情况中，若违约行为并未导致合同目的无法实现，即使造成了经济损失（但您提到并未造成经济损失，此处仅为一般性说明），也可能无法要求双倍返还定金。
3. 无其他法定或约定免责事由：不可抗力等法定免责情形可排除定金罚则的适用。若违约行为是由于不可抗力等法定免责事由导致的，则违约方可能无需承担双倍返还定金的责任。

三、不可要求双倍返还定金的情形

1. 部分履行或轻微违约：如卖方交付的货物存在瑕疵但不影响使用，买方通常仅能主张赔偿损失而非双倍返还定金。在您描述的情况中，若违约行为属于部分履行或轻微违约，且未导致合同目的无法实现，则无法要求双倍返还定金。
2. 双方均有过错：若违约由双方共同导致，法院可能根据过错程度调整定金返还比例。在您描述的情况中，若双方均存在过错，则可能无法全额要求双倍返还定金。
3. 定金超过法定限额：超出主合同标的额20%的部分不具有定金效力，违约时仅按实际损失赔偿。在您描述的情况中，若定金数额超过了主合同标的额的20%，则超出部分无法适用定金罚则。

四、针对您具体情况的建议

在您描述的情况中，买卖双方一方交了定金后有违约行为，但并未造成经济损失。首先，您需要明确违约方的身份（是支付定金方还是收受定金方）以及违约行为是否导致合同目的无法实现。若违约行为并未导致合同目的无法实现，则无法要求双倍返还定金。若违约行为导致合同目的无法实现，且符合定金罚则的适用条件，则可以要求双倍返还定金。

温馨提示：在实际操作中，定金罚则的适用可能受到多种因素的影响，如合同条款的具体约定、双方当事人的过错程度等。因此，在处理此类纠纷时，建议您咨询专业律师（当然，您可以直接向我咨询，我专注于刑事辩护、合同纠纷领域），以便更好地维护自己的合法权益。