实际施工人交的保证金，在特定情况下可以不向合同相对方要求返还，但这并非绝对，需视具体情况而定。以下从不同角度进行分析：

1. 合同约定优先：

   • 如果实际施工人与合同相对方在合同中明确约定了保证金的返还条件、方式及期限，并且这些约定不违反法律、行政法规的强制性规定，那么双方应严格按照合同约定执行。若合同中约定了特定情况下保证金不予返还（如实际施工人违约、工程质量不达标等），且这些条件已经成就，那么实际施工人可能无法要求返还保证金。

2. 法定返还情形：

   • 在没有合同约定或合同约定不明确的情况下，根据《中华人民共和国民法典》及相关司法解释的规定，如果实际施工人已经按照合同约定完成了施工任务，且工程质量符合标准，那么合同相对方应当返还保证金。这是基于合同履行完毕后的法定义务。
   • 若合同相对方无正当理由拒绝返还保证金，实际施工人可以通过法律途径（如起诉）要求返还，并可能要求支付逾期返还的利息或违约金。

3. 特殊情形下的处理：

   • 如果实际施工人因自身原因（如资金链断裂、无法继续施工等）导致合同无法履行或提前终止，且合同中未明确约定此情况下的保证金处理方式，那么实际施工人可能难以要求全额返还保证金。此时，双方可能需要通过协商、调解或诉讼等方式解决争议。
   • 另外，如果保证金被合同相对方非法占用或挪用，实际施工人不仅有权要求返还保证金，还有权要求赔偿因此造成的损失。

4. 实际操作建议：

   • 实际施工人在签订合同时，应仔细阅读合同条款，特别是关于保证金的约定，确保自己的权益得到充分保障。
   • 在施工过程中，应严格按照合同约定履行义务，避免违约行为导致保证金被扣留。
   • 如果发生保证金返还争议，应及时与合同相对方沟通协商，寻求解决方案。若协商无果，可考虑通过法律途径维护自己的权益。

总结来说，实际施工人交的保证金能否不向合同相对方要求返还，取决于合同约定、法定返还情形以及特殊情形下的处理。在实际操作中，建议实际施工人密切关注合同条款的履行情况，并在必要时寻求专业法律帮助以维护自己的权益。如果你有具体的法律问题或需要进一步的法律建议，可以直接向我咨询。