关于代理保证金是否要退还的问题，这主要取决于具体的合同条款以及相关法律法规的规定。以下是我为您提供的详细解答：
首先，我们需要明确的是，代理保证金与代理费并不是同一个法律关系。代理保证金通常是作为投标或合作的一种担保，确保投标人或合作方会按照约定履行其义务。而代理费则是代理机构为提供代理服务所收取的费用。
一、代理保证金的退还原则
法定时限：根据《中华人民共和国政府采购法实施条例》等相关法律法规，如果代理保证金是作为投标保证金的一部分，那么它应当按照法定时限退还。例如，对于未中标的供应商，采购人或采购代理机构应当自中标通知书发出之日起5个工作日内退还投标保证金；对于中标的供应商，则应自政府采购合同签订之日起5个工作日内退还。
合同约定：除了法律法规的规定外，代理保证金的退还还可能受到合同条款的约束。如果合同中明确规定了代理保证金的退还条件、时限和方式，那么双方应当按照合同约定执行。
二、代理保证金不退还的情形
投标人过错：如果投标人在投标过程中存在过错，如提供虚假材料、违反投标纪律等，且符合招标文件或合同中规定的不退保证金的条件，那么招标人或代理机构有权不退还代理保证金。
合同违约：如果投标人或合作方在合同履行过程中出现违约行为，且该违约行为导致代理机构遭受损失，那么代理机构可能根据合同约定不退还部分或全部代理保证金作为赔偿。
三、代理保证金不退还的处理方式
协商解决：如果投标人或合作方认为代理保证金不应被扣留，首先可以尝试与代理机构进行协商，寻求双方都能接受的解决方案。
投诉举报：如果协商无果，且投标人或合作方认为代理机构的行为违反了法律法规或合同约定，可以向当地的行政主管部门（如建委、发改委等）进行投诉举报，寻求行政部门的介入和调解。
法律途径：如果以上方式均无法解决问题，投标人或合作方还可以考虑通过法律途径来维护自己的权益，如提起诉讼或申请仲裁等。
四、建议
仔细阅读合同条款：在签订代理合同或投标文件时，务必仔细阅读合同条款，特别是关于代理保证金的退还条件、时限和方式的规定。
保留相关证据：在投标和合同履行过程中，务必保留好相关证据，如投标文件、合同文本、付款凭证等，以便在需要时证明自己的权益。
及时沟通协商：如果出现问题或争议，及时与代理机构进行沟通协商，寻求双方都能接受的解决方案，避免问题扩大化。
综上所述，代理保证金是否要退还取决于具体的合同条款以及相关法律法规的规定。如果投标人或合作方认为代理保证金不应被扣留，可以通过协商、投诉举报或法律途径来维护自己的权益。