结论：离婚时男方要求女方退还彩礼是否合法，需根据具体情况判断，存在合法退还的情形，也存在不予支持退还的情形。以下是对此问题的详细分析：
一、合法退还彩礼的情形
双方未办理结婚登记手续
- 若男女双方仅订婚但未进行结婚登记，那么男方有权要求女方退还彩礼。这是因为彩礼通常是在婚姻缔结的前提下给付的，若婚姻未成立，则彩礼的给付目的未实现。例如，双方订婚后因各种原因未领取结婚证，此时男方要求退还彩礼，法院一般会予以支持。
双方办理结婚登记手续但确未共同生活
- 即便双方已领取结婚证，成为法律上的夫妻，但如果实际上并未共同生活（如因工作原因长期分居，没有夫妻间的正常生活），男方在离婚时可以要求女方退还彩礼。这种情况下，彩礼的作用并未充分体现，因此男方有权要求退还。
婚前给付并导致给付人生活困难
- 如果婚前男方家庭为了给付彩礼而导致家庭经济陷入困境，甚至难以维持基本生活，且有充分证据证明这一点，那么在离婚时，男方可以要求女方退还彩礼。这里的“生活困难”指的是依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。例如，男方因给付彩礼而负债累累，生活陷入困境，此时男方要求退还彩礼，法院会酌情支持。
二、不予支持退还彩礼的情形
- 已办理结婚登记且共同生活
- 若男女双方已依法办理结婚登记手续，并实际共同生活，则彩礼通常被视为对女方的赠与，用于夫妻共同生活或女方个人支配。在此情况下，男方要求女方退还彩礼，法院一般不予支持。例如，双方结婚后共同生活多年，且彩礼已用于家庭共同开支，此时男方要求退还彩礼，法院通常不会支持。
三、退还彩礼的具体操作及考虑因素
考虑彩礼的实际使用情况
- 若彩礼已被用于结婚相关支出，如购买家具、举办婚礼等，且这些支出是合理且必要的，那么女方在退还彩礼时应扣除这部分费用。这意味着，彩礼并非一定要全额退还，而是要根据实际情况进行部分或全部退还。
考虑双方的过错程度
- 如果彩礼未退还是由于一方的过错导致的，如女方故意拖延办理结婚登记或存在其他欺骗行为，法院可能会倾向于支持男方的退还请求；反之，如果男方存在过错，如在交往过程中对女方造成伤害，法院可能会适当减少退还比例或不支持退还请求。
法院裁决的重要性
- 在具体案件中，法院将综合考虑双方的经济状况、彩礼的给付及使用情况、婚姻存续时间以及离婚的具体原因等因素，来判决是否退还彩礼以及退还的数额。因此，最终的处理结果应以法院的裁决为准。
建议：在处理此类问题时，建议双方保持理性沟通，尽量通过协商达成一致意见。如果协商无果，可以寻求法律途径解决。作为专业律师，我会根据具体情况为你提供专业的法律建议和帮助。如果你有任何疑问或需要进一步的法律咨询，请随时向我提问。