对方付了定金约定时间不来，定金不一定要还回去，这取决于具体的合同约定以及双方的协商。下面我来详细解释一下：

1. 定金性质与合同约定：

   • 定金通常作为一种履约担保，如果合同中明确规定了定金在特定情况下的处理方式（如违约不退还），那么按照合同约定执行。
   • 如果合同中没有明确规定，或者规定不明确，则需要根据《民法典》中关于定金的相关规定以及双方的实际履行情况来判断。

2. 违约情况分析：

   • 如果对方付了定金后，在约定的时间内没有前来履行合同（如购房、购货等），这通常被视为违约。在这种情况下，你作为守约方，有权根据合同约定或法律规定处理定金。
   • 如果合同明确约定违约不退定金，那么你可以不退还定金。
   • 如果合同没有明确规定，或者规定有利于违约方，那么你可能需要与对方协商处理定金问题。

3. 协商与解决方案：

   • 在实际操作中，即使合同没有明确约定，双方也可以通过协商来达成解决方案。例如，你可以提出扣除部分定金作为违约金，或者与对方协商其他补偿方式。
   • 如果对方同意你的方案，那么双方可以签订补充协议来确认这一解决方案。

4. 法律建议：

   • 在处理定金问题时，建议你首先查看合同条款，了解定金的性质和处理方式。
   • 如果合同没有明确规定或存在争议，建议你及时与我联系，以便根据具体情况提供更具针对性的法律建议。

总之，定金的处理需要根据具体的合同约定和双方的协商来确定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。