退婚时男方要求女方退钱是否合法，这主要取决于具体情况及法律规定。一般来说，如果涉及的是彩礼钱，那么根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，我们可以明确以下几点：

结论前置：

1. 若存在法定情形：如双方未办理结婚登记、虽办理登记但未共同生活、或婚前给付导致给付人生活困难等，男方有权要求退还彩礼。
2. 若不存在法定情形：则彩礼一般视为赠与，男方在退婚时要求女方退还通常是不合法的。

详细分析：

1. 双方未办理结婚登记手续：

   • 如果男女双方仅举办了婚礼但未进行婚姻登记，婚姻关系在法律上并未成立。此时，男方有权要求女方退还彩礼，且这一要求符合法律规定。

2. 双方已办理结婚登记手续但确未共同生活：

   • 如果双方虽然办理了结婚登记，但并未实际共同生活，且男方提出离婚并要求退还彩礼，这一要求是合法的，但前提是必须先完成离婚程序。

3. 婚前给付并导致给付人生活困难：

   • 如果男方因支付彩礼而背负巨额债务，导致生活困难，那么在双方离婚后，男方有权要求女方返还彩礼。这一要求同样符合法律规定。

4. 不存在上述法定情形：

   • 如果男女双方已办理结婚登记并共同生活，且婚前给付彩礼并未导致男方生活困难，那么男方在退婚时要求女方退还彩礼通常是不合法的。因为此时彩礼被视为男方对女方的赠与，一旦赠与行为完成，若无其他法定撤销事由，男方不能随意要求返还。

在处理此类问题时，建议双方首先通过友好协商来寻求解决方案。如果协商无果，再考虑通过法律途径来维护自身权益。同时，也提醒广大民众在缔结婚姻时，应理性对待彩礼问题，避免因彩礼而引发不必要的纠纷。

如果你或你身边的人面临类似问题，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。