要回已付定金的钱，需根据具体情况分析处理。以下是根据不同情形给出的详细分析：

一. 如果给付定金的一方违约

1. 无法要回定金：根据《中华人民共和国民法典》第五百八十七条，给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金。这意味着，如果是你作为给付定金的一方违约，那么你将无权要求返还定金。

二. 如果收受定金的一方违约

1. 可双倍要求返还定金：同样依据《中华人民共和国民法典》第五百八十七条，收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。因此，如果是收受定金的一方违约，你可以要求他们双倍返还定金。

三. 如果因不可归责于双方的事由导致合同无法履行

1. 定金应返还：虽然这种情况在公域知识中的《最高人民法院关于审理商品房买卖合同纠纷案件适用法律若干问题的解释》第四条有提及，但该原则同样适用于其他类型的合同。如果合同无法履行是由于不可归责于双方的事由，如自然灾害、政策变动等，那么收受定金的一方应当将定金返还给给付定金的一方。

四. 特别情况

1. 定金与违约金的选择：根据《中华人民共和国民法典》第五百八十八条，如果当事人既约定了违约金，又约定了定金，那么在一方违约时，对方可以选择适用违约金或者定金条款。这意味着，在违约情况下，你可以根据实际情况选择对你更有利的一种赔偿方式。

我建议，在要求返还定金时，首先明确违约方是谁，以及合同中是否有关于定金和违约金的特别约定。然后，根据相关法律法规，向违约方提出合理的赔偿要求。如果协商无果，可以考虑通过法律途径维护自己的合法权益。如有进一步需要，您可以继续咨询我。