针对你提出的问题“交了20万定金，损失40万，对方只返还我40万吗”，我首先给出明确的结论，并结合相关法律知识进行详细解释。

结论：

1. 若对方违约：根据定金罚则，对方应双倍返还定金，即你应获得40万的返还。但这并不涵盖你提到的“损失40万”的部分，如果你的损失超过了定金的双倍返还金额，你需要通过其他法律途径（如诉讼）来主张额外的损失赔偿。

2. 若你违约：则你无权要求返还定金，即对方只需返还你0元，更无需赔偿你任何损失。

详细解释：

1. 定金合同的基本原理：

   • 定金是合同双方为了确保合同的履行而约定的一种担保方式。
   • 给付定金的一方（你）若违约，则无权要求返还定金。
   • 收受定金的一方（对方）若违约，则应双倍返还定金。

2. 定金数额的法律规定：

   • 定金的数额由当事人约定，但不得超过主合同标的额的百分之二十。
   • 超过部分不产生定金的效力，即不被视为定金，而是视为预付款或其他性质的款项。

3. 你的具体情况分析：

   • 你交了20万定金，假设这20万未超过主合同标的额的百分之二十。
   • 若对方违约，根据定金罚则，对方应双倍返还定金，即40万。
   • 你提到的“损失40万”可能是指因对方违约导致你产生的其他经济损失。这部分损失并不直接由定金罚则来赔偿，而是需要你通过诉讼等方式来主张。

4. 进一步行动建议：

   • 如果你认为对方的违约行为导致了你的额外损失，并且这部分损失超过了定金的双倍返还金额，你可以考虑向法院提起诉讼，要求对方赔偿你的全部损失。
   • 在提起诉讼前，建议收集好相关证据，如合同、交易记录、损失证明等，以确保你的诉讼主张能够得到法院的支持。

综上所述，对方应返还你的金额取决于违约方是谁以及你的具体损失情况。如果你有任何进一步的问题或需要法律帮助，请直接向我咨询。