结论前置：男方在离婚时要求女方退钱是否合法，需根据具体情况来判断，不能一概而论。以下从不同情况进行分析：

1. 彩礼退还问题：

   • 法律背景：根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。
   • 分析：若男方给付的款项属于彩礼性质，且符合上述法律规定的情形之一，如双方虽已领证但确未共同生活，或婚前给付导致男方生活困难，那么男方要求女方退还彩礼是合法的。但若双方已共同生活较长时间，且男方未因给付彩礼而导致生活困难，则男方要求退还彩礼可能不会得到法院的支持。

2. 共同财产分割问题：

   • 法律背景：根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：（一）工资、奖金、劳务报酬；（二）生产、经营、投资的收益；（三）知识产权的收益；（四）继承或者受赠的财产，但是本法第一千零六十三条第三项规定的除外；（五）其他应当归共同所有的财产。夫妻对共同财产，有平等的处理权。
   • 分析：若男方要求女方退还的款项属于夫妻共同财产，如婚后共同赚取的工资、奖金等，那么男方无权单独要求女方退还。在离婚时，夫妻共同财产应依法进行分割，双方应平等地享有处理权。

3. 借款或赠与问题：

   • 法律背景：若男方给付女方的款项属于借款性质，且有明确的借款协议或证据证明，那么男方有权要求女方偿还。若款项属于赠与性质，且赠与行为已完成，除非存在法定撤销赠与的情形（如严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等），否则赠与人不得撤销赠与。
   • 分析：若男方能证明款项是借款，那么要求女方退还（即偿还）是合法的。若款项是赠与，且不存在法定撤销赠与的情形，则男方要求退还可能不会得到法院的支持。

建议：

• 在处理此类纠纷时，建议双方首先尝试通过协商解决，以避免不必要的法律纠纷。
• 若协商无果，男方或女方均可向法院提起诉讼，要求依法处理财产分割或退还问题。
• 在诉讼过程中，双方应提供充分的证据来支持自己的主张，如转账记录、聊天记录、借款协议等。

可能法律后果：

• 若法院认定男方要求退还的款项属于合法范畴（如彩礼退还、借款偿还等），则女方需按照法院判决履行退还义务。
• 若法院认定男方要求退还的款项不属于合法范畴（如要求退还夫妻共同财产、无法证明的赠与等），则男方的诉求可能不会得到法院的支持。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。