夫妻离婚时，彩礼是否退还需根据具体情况判断，并非一律要退回。
一. 应当返还彩礼的情形
双方未办理结婚登记手续：如果双方只是按照习俗举办了婚礼，但并未在婚姻登记机关进行登记，那么彩礼应当返还。因为只有经过登记的婚姻才是合法有效的，未登记则不构成法律意义上的婚姻关系。- 例如，甲男和乙女只举办了婚礼未登记结婚，后分手，甲男可以要求乙女返还彩礼。
双方办理结婚登记手续但确未共同生活：尽管双方已经登记结婚，但如果实际上并未共同生活，彩礼也应当返还。这里的“共同生活”指的是实质意义上的夫妻共同生活状态。- 例如，丙男和丁女登记后，因各种原因一直分居，后决定离婚，丙男可以要求丁女返还彩礼。
婚前给付并导致给付人生活困难：如果婚前给付彩礼导致给付人生活困难，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，彩礼也应当返还。- 例如，戊男为给付己女彩礼而负债累累，后双方离婚，戊男可以请求己女返还彩礼。
二. 一般不予返还彩礼的情形
双方已办理结婚登记手续且共同生活：如果双方已经登记结婚并且共同生活了一段时间，即使后来离婚，彩礼也一般不予返还。- 例如，庚男和辛女结婚后共同生活多年，后离婚，庚男要求辛女返还彩礼，法院通常不会支持。
彩礼已用于共同生活支出：如果彩礼已经在双方共同生活中消耗，如用于购买家具、家电、举办婚礼等，那么彩礼也不再支持返还。- 例如，壬男给付癸女彩礼后，双方用这笔彩礼购买了结婚用品并举办了婚礼，后离婚，壬男要求癸女返还彩礼，法院可能不会支持。
总结：因此，合法夫妻离婚时彩礼是否要退回，需综合考虑双方是否办理结婚登记、是否共同生活、彩礼的使用情况以及给付人的生活状况等因素。在具体操作中，建议根据实际情况来判断，并咨询专业律师以维护自己的合法权益。如有进一步需要，您可以继续咨询我。