把钱放在担保人那里不退还担保金是否合法，需视具体情况而定。以下从不同角度为您详细分析：

一、合同约定角度

1. 若合同有明确约定：

   • 如果您与担保人之间的合同中明确规定了担保金的退还条件及情形，且您未违反相关约定，而担保人拒绝退还担保金，这种行为通常是不合法的，可能构成违约。例如，合同中明确约定在债务完全履行之后应当退还担保金，而债务实际上已经按照约定如期履行完毕，此时担保人应退还担保金。
   • 法律依据：根据《民法典》中关于合同履行、违约责任等方面的条款，合同双方应按照约定履行各自的义务。若一方未履行合同义务，应承担相应的违约责任。

2. 若合同无明确约定或约定不明：

   • 如果合同中没有明确规定担保金的退还条件及情形，或者约定不明确，那么担保金的退还问题可能需要根据实际情况和相关法律法规进行判断。

二、实际履行情况角度

1. 若您未违约：

   • 如果您在合同履行过程中没有违约行为，且担保人没有合理的理由拒绝退还担保金，那么担保人的行为可能构成不当得利，您有权要求其退还。

2. 若您存在违约行为：

   • 如果您存在违反合同约定的行为，如未按时履行还款义务等，担保人依据合同约定有权扣除相应担保金以弥补损失。这种情况下，担保人不退还担保金可能是合法的。
   • 法律依据：同样根据《民法典》的相关规定，如果一方违约导致另一方遭受损失，违约方应承担赔偿责任。

三、法律建议

1. 审查合同条款：

   • 首先，您应仔细审查与担保人签订的合同，明确其中关于担保金退还的条款。如果合同中有明确规定，且您符合退还条件，而担保人拒绝退还，您可以考虑通过法律途径维护自己的权益。

2. 与担保人协商：

   • 在采取法律行动之前，您可以尝试与担保人进行协商，了解其拒绝退还担保金的原因，并寻求解决方案。如果协商无果，您可以考虑向相关部门投诉或寻求法律援助。

3. 寻求法律援助：

   • 如果您认为担保人的行为侵犯了您的合法权益，且无法通过协商解决，您可以咨询专业律师（比如我）并考虑向法院提起诉讼，要求担保人退还担保金并承担相应的法律责任。

总结来看，把钱放在担保人那里不退还担保金是否合法，取决于合同约定、实际履行情况以及相关法律法规的规定。如果您遇到此类问题，建议先审查合同条款，与担保人协商解决，必要时寻求法律援助以维护自己的合法权益。