针对您提出的“公司把钱退给代理了，但代理迟迟不退”的问题，这确实是一个涉及合同和退款流程的复杂情况。以下是我为您提供的详细解答和建议：
一、核查代理合同
首先，您需要仔细核查与代理签订的合同。合同中通常会明确退款的条件、流程和时限。如果合同中有明确的退款条款，并且您的情况符合退款条件，那么代理方拒绝退款就构成了违约。
二、与代理方协商
- 书面沟通：您可以先以书面函件的形式，明确指出代理方违约的事实，并附上合同中的相关退款条款作为依据，要求代理方在规定时间内退款。
- 当面沟通：如果书面沟通效果不佳，您可以尝试与代理方进行当面沟通，进一步阐述您的立场和要求。
三、收集证据
如果协商无果，您需要开始收集相关证据，以备后续维权之用。这些证据可能包括：
- 代理合同原件或复印件
- 付款凭证，如银行转账记录、收据等
- 与代理方的沟通记录，包括书面函件、电子邮件、短信、通话录音等
- 其他可能证明您权益的证据，如代理方承诺退款的书面或口头证据
四、向相关部门投诉
- 消费者协会：您可以向当地的消费者协会投诉，寻求他们的帮助和调解。
- 工商局：如果代理方涉及商业欺诈或违规行为，您还可以向工商局投诉，要求他们对代理方进行调查和处理。
五、法律途径
如果以上步骤都无法解决问题，您可能需要考虑通过法律途径来维护自己的权益。
- 起诉：您可以向有管辖权的法院提起民事诉讼，要求代理方退还相应款项，并承担违约责任。在起诉前，请确保您已经收集了足够的证据来支持您的诉求。
- 律师咨询：在起诉前或起诉过程中，您可以咨询专业律师的意见，以更好地了解您的法律权益和可能的诉讼结果。
六、注意事项
- 保持冷静：在整个过程中，请保持冷静和理性，避免与代理方发生不必要的冲突。
- 及时行动：一旦发现代理方有违约行为，请尽快采取行动，以免错过最佳的维权时机。
- 了解法律：在维权过程中，了解相关的法律法规和程序是非常重要的。这可以帮助您更好地维护自己的权益。
希望以上建议能对您有所帮助。如果您在维权过程中遇到任何困难或问题，请随时寻求专业法律人士的帮助。