结论：对方违约时，您能否要回所有定金，需根据具体情况判断，包括合同约定、违约情形及法律规定等因素。以下从不同角度为您详细分析：
一、合同约定优先
定金罚则：根据《中华人民共和国民法典》第五百八十七条，如果合同中明确约定了定金罚则，即给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。因此，如果合同中有明确约定，且对方确实存在违约行为，您有权要求对方双倍返还定金。
合同具体条款：除了定金罚则外，合同中还可能对违约责任、定金返还等事项有具体约定。例如，合同可能规定在某些特定情况下，即使对方违约，定金也不予返还或只返还部分。因此，您需要仔细审查合同条款，以确定自己的权利和义务。
二、违约情形分析
根本违约：如果对方的违约行为导致合同目的无法实现，即构成根本违约。在这种情况下，您不仅可以要求对方双倍返还定金，还可以要求解除合同并赔偿损失。根本违约是定金罚则适用的典型情形。
非根本违约：如果对方的违约行为并未导致合同目的无法实现，但确实给您造成了损失，您可能无法直接要求双倍返还定金，但可以要求对方承担违约责任，包括赔偿损失等。在这种情况下，定金的返还可能需要根据合同约定和实际情况进行协商。
三、法律规定与司法实践
法律规定：除了《中华人民共和国民法典》中关于定金的规定外，其他相关法律法规也可能对定金问题有所涉及。例如，某些特定行业的合同可能受到专门法律的调整。因此，在处理定金问题时，您需要综合考虑所有相关法律法规。
司法实践：在司法实践中，法院会根据合同约定、违约情形、双方过错程度等因素综合判断定金的返还问题。因此，即使合同中有明确约定，法院也可能根据实际情况对定金的返还进行调整。
四、建议与行动
审查合同：首先，您需要仔细审查合同条款，特别是关于定金、违约责任和争议解决等方面的约定。
收集证据：收集并整理与对方违约行为相关的证据，如合同、付款凭证、沟通记录等。
协商与调解：在提起诉讼前，您可以尝试与对方进行协商或寻求第三方调解，以达成和解协议并尽快解决问题。
提起诉讼：如果协商和调解无果，您可以向法院提起诉讼，要求对方承担违约责任并返还定金。在诉讼过程中，您需要提供充分的证据支持自己的主张。
最后，定金问题涉及复杂的法律关系和事实认定，因此在实际操作中可能面临诸多挑战。如果您在处理定金问题时遇到困难或疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。