离婚时男方要求返还彩礼，是否合法需视具体情况而定。以下是对不同情形的详细分析：
已登记结婚且共同生活：
- 如果双方已经办理了结婚登记手续，并且共同生活了一段时间，那么彩礼通常被视为对女方的赠与，男方在离婚时要求返还彩礼，法院大多不予支持。因为此时彩礼已经作为婚姻关系的一部分，用于双方的共同生活或家庭建设。
未登记结婚或未共同生活：
- 如果双方没有办理结婚登记手续，或者虽然办理了结婚登记但没有共同生活，那么男方可以要求女方返还彩礼。这是因为在这两种情况下，彩礼并没有真正融入婚姻关系，而是仍然属于男方的个人财产。若男方提出返还请求，并且符合相关法律规定，法院通常会予以支持。
婚前给付导致生活困难：
- 如果男方在婚前给付彩礼后，因此导致了生活困难，无法维持当地基本生活水平，那么他也可以要求女方返还彩礼。不过，这一情形需要男方提供充分的证据来证明自己的生活困难确实是由婚前给付彩礼所导致的。若证据充分且符合法律规定，男方在离婚时要求返还彩礼的请求，法院也会予以考虑和支持。
在处理彩礼返还问题时，法院还会综合考虑公平原则、彩礼的性质以及双方在婚姻期间的投入等因素。因此，在具体案件中，男方能否成功要求返还彩礼，还需要根据案件的具体情况和法院的裁决来确定。
如果您在这方面有具体的法律问题或需要进一步的法律帮助，请随时向我咨询，我会为您提供更详细和专业的解答。