结论：在履约保证金缴纳但未签订合同的情况下，能否退还保证金需根据具体情况判断，主要包括双方是否有约定、未签订合同的原因以及是否存在违约行为等因素。以下是对此问题的详细分析：

1. 双方是否有明确约定：

   • 如果双方在缴纳履约保证金时，已经明确约定了保证金退还的条件和方式，那么应当按照约定执行。例如，如果约定在合同未签订的情况下保证金应全额退还，那么反悔时保证金应当退还。
   • 法律依据：根据《中华人民共和国民法典》的相关规定，合同是双方意思表示一致的协议，如果双方已经就保证金的退还达成了合意，那么该合意对双方具有约束力。

2. 未签订合同的原因：

   • 如果未签订合同是由于一方的原因导致的，比如一方无故拒绝签订合同，那么另一方有权要求退还保证金，并可能要求赔偿因此造成的损失。
   • 如果未签订合同是由于不可抗力或其他双方均无过错的原因导致的，那么双方可以协商解决保证金的退还问题，或者根据公平原则，由一方承担部分或全部损失。

3. 是否存在违约行为：

   • 如果在缴纳保证金后，一方存在违约行为（如擅自改变合同内容、拒绝履行合同义务等），导致合同无法签订，那么另一方有权根据违约情况决定是否退还保证金，以及退还的金额。
   • 实践建议：在此情况下，建议双方先通过协商解决争议。如果协商不成，可以依据相关证据（如聊天记录、邮件往来等）向法院提起诉讼或申请仲裁，以维护自己的合法权益。

4. 特殊情形下的处理：

   • 如果双方虽然未签订书面合同，但已经实际履行了部分合同义务（如一方已经支付了部分款项，另一方已经开始了准备工作等），那么可能构成事实合同关系。在此情况下，保证金的退还问题可能需要根据事实合同的具体内容来确定。
   • 风险提示：在未签订书面合同的情况下，双方的权利义务关系可能不够明确，容易引发争议。因此，建议在缴纳保证金前，双方应尽可能签订书面合同，明确各自的权利义务和保证金的退还条件。

综合建议：

• 在缴纳履约保证金前，务必与对方签订书面合同，并明确约定保证金的退还条件和方式。
• 如果未签订合同且反悔，建议先与对方协商解决保证金的退还问题。
• 如果协商不成，可以收集相关证据（如缴纳保证金的凭证、双方沟通的记录等），向法院提起诉讼或申请仲裁以维护自己的权益。

如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询，我会根据你的具体情况提供更详细的解答。