结论：男方起诉离婚时，女方是否需要退还彩礼，需根据具体情况判断，并非绝对需要退还。以下从不同角度详细分析：
一、法律背景与规定
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
双方未办理结婚登记手续：如果男女双方并未到婚姻登记机关进行结婚登记，那么男方有权要求女方返还彩礼。
双方办理结婚登记手续但确未共同生活：即便双方已经办理了结婚登记手续，但如果并未共同生活，男方在离婚时也有权要求女方返还彩礼。
婚前给付并导致给付人生活困难：如果男方在婚前给付了彩礼，并且这一行为导致了他生活困难，那么在离婚时，男方也有权要求女方返还彩礼。但这里的“生活困难”需要达到一定的程度，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。
二、实际情况分析
已办理结婚登记且共同生活：如果男女双方已经办理了结婚登记手续，并且共同生活了一段时间，那么男方在起诉离婚时要求女方返还彩礼，通常不会得到法院的支持。因为此时彩礼已经转化为夫妻共同财产的一部分，或者用于了夫妻共同生活。
未办理结婚登记但共同生活：如果男女双方并未办理结婚登记手续，但已经共同生活了一段时间，那么男方要求女方返还彩礼时，法院可能会根据双方共同生活的时间、彩礼的数额、双方的经济状况等因素，酌情判决女方返还部分或全部彩礼。
特殊情况下的返还：除了上述三种法定情形外，如果双方存在其他特殊情况，如一方存在重大过错导致离婚、彩礼被用于非法目的等，法院也可能根据具体情况判决女方返还部分或全部彩礼。
三、法律建议
收集证据：如果男方认为女方需要返还彩礼，应当收集相关证据，如彩礼的给付凭证、双方共同生活的证据、男方生活困难的证据等。
协商解决：在起诉前，双方可以尝试通过协商解决彩礼返还问题。如果协商不成，再考虑通过法律途径解决。
寻求专业法律帮助：由于彩礼返还问题涉及复杂的法律关系和证据收集，建议双方在处理此类问题时寻求专业律师的帮助，以确保自身权益得到妥善维护。
举例说明：假设男方在婚前给付了女方20万元彩礼，双方办理了结婚登记手续但并未共同生活。后因感情不和男方起诉离婚并要求女方返还彩礼。在此情况下，法院很可能会根据法律规定判决女方返还全部或部分彩礼。但如果双方已经共同生活多年，且彩礼已经用于夫妻共同生活或转化为夫妻共同财产，那么男方要求返还彩礼的请求可能不会得到法院的支持。
总之，男方起诉离婚时女方是否需要退还彩礼，需根据具体情况判断。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。