离婚时男方要求退彩礼并签订协议，其合法性需根据具体情况来判断。以下是从不同角度进行的详细分析：
一、彩礼退还的法定情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，存在以下三种法定情形时，给付彩礼的一方可以要求另一方退还彩礼，并且这一请求将得到人民法院的支持：
双方未办理结婚登记手续：若双方未办理结婚登记，即未形成合法的婚姻关系，彩礼的给付目的未能实现。因此，男方要求退还彩礼，法院通常会予以支持。
双方已办理结婚登记手续但未共同生活：虽然双方已领取结婚证，但实际上并未共同生活在一起，没有形成真正意义上的夫妻生活。在此情况下，离婚时男方请求女方退还彩礼，法院一般会考虑支持。
婚前给付导致给付人生活困难：若因婚前给付彩礼，导致给付彩礼的一方及其家庭生活水平明显下降，甚至基本生活都难以维持，这种情况下离婚时男方要求女方退还彩礼，法院会酌情支持。但需注意的是，此情形下的“生活困难”有严格的认定标准，需结合当地经济水平、家庭收入等多方面因素进行综合判断。
二、协议退还彩礼的合法性
在离婚时，如果双方就彩礼的退还问题达成了一致意见，并签订了书面协议，那么这份协议在符合以下条件时是具有法律效力的：
双方自愿：协议必须是双方自愿签订的，不存在欺诈、胁迫等情形。
内容合法：协议的内容必须合法，不得违反法律法规的强制性规定，也不得损害国家、集体或第三人的利益。
形式要件：虽然口头协议在某些情况下也具有法律效力，但为了避免纠纷，建议双方采用书面形式签订协议，并签字或盖章确认。
三、实际操作中的注意事项
证据保留：在签订协议前，双方应保留好与彩礼相关的证据，如转账记录、聊天记录、证人证言等，以便在发生纠纷时能够证明自己的主张。
协议内容明确：协议中应明确彩礼的金额、退还方式、退还时间等关键信息，避免出现模糊不清或歧义的条款。
法律咨询：在签订协议前，建议双方咨询专业律师，以确保协议的内容合法、有效，并符合双方的利益。
四、可能面临的法律后果
如果双方签订的彩礼退还协议符合上述条件，那么该协议是具有法律效力的。如果一方不履行协议中的义务，另一方可以通过法律途径来维护自己的权益，如向法院提起诉讼要求对方履行协议或承担违约责任。
总结来说，离婚时男方要求退彩礼并签订协议，其合法性需根据具体情况来判断。如果双方就彩礼的退还问题达成了一致意见，并签订了符合法律规定的书面协议，那么这份协议是具有法律效力的。在处理此类问题时，建议双方保持冷静、理性，并咨询专业律师以确保自身权益得到妥善维护。如果你有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。