结论：国有企业承接项目未签订合同但支付了保证金，保证金能否退还取决于多种因素，包括双方协商、项目实际情况、法律规定等。以下从不同角度进行分析：
一、从合同法的角度分析
合同成立与效力：
- 尽管双方未签订书面合同，但如果存在事实合同关系（如通过口头协议、行为等方式表明双方有建立合同关系的意愿），且合同内容不违反法律、行政法规的强制性规定，不违背公序良俗，则合同可能被认定为有效。
- 若合同有效，双方应履行合同义务。若因一方原因导致合同无法履行或解除，应根据合同约定或法律规定承担违约责任。在此情况下，保证金的退还可能受到合同条款或违约责任的影响。
保证金性质与退还：
- 保证金通常作为合同履行的一种担保方式，用于确保合同一方履行其义务。若合同有效且双方均履行了合同义务，保证金应在合同履行完毕后退还。
- 若合同未成立或无效，或因不可抗力等因素导致合同无法履行，且双方均无过错，则保证金应退还。
二、从项目实际情况的角度分析
项目进展与责任：
- 若项目已启动但因某种原因（如对方违约、政策变化等）无法继续，且国有企业已支付保证金，则应根据项目实际情况和双方责任来协商保证金的退还。
- 若国有企业自身原因导致项目无法继续，且对方无过错，则保证金可能不予退还或需承担一定违约责任后部分退还。
双方协商与调解：
- 在项目无法继续或合同解除的情况下，双方应首先尝试通过协商或调解解决保证金退还问题。这有助于减少诉讼成本和时间，维护双方关系。
三、从法律规定的角度分析
相关法律法规：
- 根据《中华人民共和国民法典》等相关法律法规，合同双方应遵循诚实信用原则，履行合同义务。若合同未成立或无效，或因不可抗力等因素导致合同无法履行，双方应根据法律规定处理保证金问题。
- 具体来说，若保证金属于定金性质，且因对方违约导致合同无法履行，则国有企业有权要求对方双倍返还定金；若因自身原因导致合同无法履行，则可能无权要求返还定金。
诉讼与仲裁：
- 若双方无法通过协商或调解解决保证金退还问题，国有企业可以考虑通过诉讼或仲裁等法律途径来维护自身权益。在此过程中，需要提供相关证据证明合同关系、保证金支付情况以及对方违约或自身无过错等事实。
建议与措施
收集证据：
- 国有企业应尽快收集与项目相关的所有证据，包括合同草案、沟通记录、支付凭证等，以便在协商、调解或诉讼过程中证明自身权益。
咨询专业律师：
- 在处理此类复杂问题时，建议国有企业咨询专业律师以获取更具体的法律建议和指导。律师可以根据具体情况分析合同效力、保证金性质以及双方责任等问题，并提供相应的解决方案。
积极协商与调解：
- 在采取法律途径之前，国有企业应积极与对方进行协商和调解，尝试通过友好方式解决保证金退还问题。这有助于减少诉讼成本和时间，并维护双方关系。
若您在处理此类问题时遇到任何疑问或需要进一步的法律帮助，请直接向我咨询。