合同履约金在未签订合同的情况下能否退还，主要取决于履约金的性质、合同未能签订的原因以及双方的过错情况。以下是对此问题的详细分析：
可以退还的情形
未达成合意导致合同未成立：
- 若双方在协商过程中，对于合同的关键条款（如价格、交付时间等）未能达成一致，导致合同最终未能签订，且履约金的支付并非基于定金性质，那么交付履约金的一方有权要求退还。因为在此情况下，合同未成立，收受履约金缺乏合法依据。
- 实例：A公司与B公司就某项业务进行合作洽谈，A公司按B公司要求支付了履约金，但在后续协商具体合同条款时，双方对关键条款无法达成一致，导致合同未能成立。此时，A公司有权要求B公司退还履约金。
收受方原因导致合同无法签订：
- 若是因为收受履约金的一方存在过错（如欺诈、隐瞒重要事实等），导致合同无法签订，交付方不仅可以要求退还履约金，还有权要求对方承担因此造成的赔偿责任。
- 实例：C向D购买一批货物并支付了履约金，但后来发现D根本没有货物的所有权或存在其他严重违约行为，导致无法签订买卖合同。此时，C不仅有权要求D退还履约金，还可以要求D赔偿自己因此遭受的损失，如准备签订合同而支出的费用等。
履约金性质为预付款：
- 若履约金实际上是作为预付款支付的，并不具有担保性质。在合同未正式签订或交易未完成时，交付方通常可以要求返还预付款。
- 实例：E打算租赁F的商铺并支付了一笔履约金作为预付款，后因商铺存在产权纠纷导致无法签订租赁合同。由于该履约金实为预付款性质，E可要求F退还。
双方协商一致：
- 若双方能够就履约金的退还问题达成一致意见，那么无论合同是否签订，履约金都可以按照双方的约定进行退还。
可能不予退还的情形
履约金性质为定金且交付方违约：
- 若履约金被明确认定为定金性质，并且是由于交付履约金的一方反悔不想继续签订合同，那么根据《民法典》的相关规定，收受定金的一方有权不退还定金。
- 法律依据：根据《民法典》第五百八十七条，债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。
- 实例：G与H协商购买房屋并支付了定金作为履约保证，但后来G因自身原因反悔不想购买该房屋。在这种情况下，H有权不退还G支付的定金。
支付方存在过错导致合同无法签订：
- 若支付履约金的一方存在过错（如提供虚假信息、违反诚信原则等），导致合同无法签订，那么收受方有权不退还履约金，并可能要求支付方承担因此造成的损失。
特殊情况与建议
- 证据的重要性：在处理履约金退还纠纷时，证据至关重要。无论是哪一方主张权利，都需要提供充分的证据来证明自己的主张。例如，支付方需要提供证据证明已支付履约金且合同未签订非自身原因；收取方则需要证明合同未签订系支付方违约所致。
- 协商与调解：在发生争议时，双方可以首先尝试通过协商或调解的方式解决纠纷。这不仅可以节省时间和成本，还可以维护双方的关系。
- 法律途径：若协商和调解无果，双方可以通过法律途径解决争议。在此过程中，建议双方寻求专业律师的帮助，以确保自己的权益得到妥善保护。
综上所述，合同履约金在未签订合同的情况下能否退还，需要根据具体情况和证据来判断。若您面临此类问题，建议首先明确履约金的性质和合同未能签订的原因，并收集相关证据以支持自己的主张。如有需要，您可以向我咨询，我将根据您的具体情况提供详细的法律建议。