结论前置：离婚时男方是否还能要求退回彩礼，需根据具体情况判断。若符合法定返还情形，如双方未办理结婚登记、办理登记却未共同生活、婚前给付致给付人生活困难，男方有权请求返还；若彩礼已用于夫妻共同生活（如帮男方还债且用于共同生活），一般无需退还，但法院会综合结婚时长、彩礼数额、家庭经济状况等因素判定是否退还及比例。

一、法定返还情形

根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还彩礼，若查明属于以下情形，法院应予支持：

1. 双方未办理结婚登记手续：若男女双方仅按习俗举办婚礼但未登记，婚姻关系不成立，彩礼给付目的未实现，收受方应返还彩礼。
2. 双方办理结婚登记但未共同生活：即使领取结婚证，若未像正常夫妻一样共同生活（如婚后一直分居），离婚时给付方可要求返还，因彩礼用于共同生活的目的落空。
3. 婚前给付致给付人生活困难：“生活困难”指给付彩礼后，依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。此情形下，也可要求返还彩礼，且以双方离婚为条件。

结合案例分析：若您与男方已登记结婚且共同生活，且男方未因给付彩礼导致生活困难，则不符合法定返还情形，男方无权要求退还彩礼。

二、彩礼用于还债的特殊情况

若彩礼已用于帮男方还债，且该债务属于夫妻共同债务（如用于家庭共同生活、经营等），则彩礼已转化为夫妻共同财产的支出，离婚时一般无需退还。但若法院认定该债务为男方个人债务，或男方能证明给付彩礼导致其生活困难，且结婚时间较短，法院可能酌情判定部分返还。

关键因素：

• 债务性质：若债务用于夫妻共同生活，彩礼无需退还；若为男方个人债务，可能需退还。
• 结婚时长：结婚时间越短，法院判定返还的可能性越大。
• 彩礼数额与家庭经济状况：彩礼数额较大或男方家庭经济困难，法院可能考虑部分返还。

三、法院判定时的综合考虑

即使不符合法定返还情形，法院也会综合以下因素判定是否退还及比例：

1. 彩礼数额及使用情况：彩礼金额大小、是否已用于共同生活。
2. 共同生活时间：结婚时间长短，共同生活时间越短，返还可能性越大。
3. 有无生育子女：有子女可能影响返还比例。
4. 双方经济状况：收入水平、财产状况等。
5. 离婚原因及过错程度：如一方存在重大过错，可能影响返还判定。

举例说明：若您与男方结婚时间较短（如1年内），彩礼数额较大，且男方能证明给付彩礼导致其生活困难，法院可能判定您返还部分彩礼；若结婚多年，彩礼已用于共同生活，则无需退还。

四、建议与总结

1. 保留证据：若男方主张返还彩礼，您需提供彩礼已用于共同生活的证据（如还债记录、家庭开支凭证等）。
2. 协商解决：可与男方协商，争取达成一致意见，避免诉讼。
3. 法律途径：若协商无果，可通过诉讼解决，法院会依法判定。

总结：离婚时男方是否还能要求退回彩礼，需结合具体情况判断。若不符合法定返还情形，且彩礼已用于共同生活，一般无需退还；若符合法定情形或法院综合判定需退还，则可能需返还部分或全部彩礼。建议您根据实际情况，收集证据，必要时咨询我进一步处理。