结论：女方起诉离婚时，男方要求退彩礼而不进行反诉是合法的，但具体是否需要退还彩礼以及退还的数额，需根据双方的具体情况，特别是是否存在法定情形以及彩礼的实际使用情况等因素来综合判断。
一、男方要求退彩礼的合法性
在女方起诉离婚的案件中，男方要求退还彩礼并不需要通过反诉的方式提出。男方可以在答辩过程中直接提出退还彩礼的请求，或者作为一项独立的诉讼请求在庭审中提出。法院在审理离婚案件时，会综合考虑双方的经济状况、彩礼的给付及使用情况、婚姻存续时间以及离婚的具体原因等因素，来判决是否退还彩礼以及退还的数额。
二、彩礼退还的法定情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，以下三种情形下，男方要求女方退还彩礼是合法且可能得到法院支持的：
双方未办理结婚登记手续：
- 如果男女双方仅订婚但未进行结婚登记，那么男方有权要求女方退还彩礼。这是因为彩礼通常是在婚姻缔结的前提下给付的，若婚姻未成立，则彩礼的给付目的未实现。
双方办理结婚登记手续但确未共同生活：
- 即便双方已领取结婚证，成为法律上的夫妻，但如果实际上并未共同生活（如因工作原因长期分居，没有夫妻间的正常生活），男方在离婚时可以要求女方退还彩礼。
婚前给付并导致给付人生活困难：
- 如果婚前男方家庭为了给付彩礼而导致家庭经济陷入困境，甚至难以维持基本生活，且有充分证据证明这一点，那么在离婚时，男方可以要求女方退还彩礼。
三、彩礼退还的实际操作与考虑因素
彩礼的使用情况：
- 若彩礼已被用于结婚相关支出，如购买家具、举办婚礼等，且这些支出是合理且必要的，那么女方在退还彩礼时应扣除这部分费用。这意味着，彩礼并非一定要全额退还，而是要根据实际情况进行部分或全部退还。
法院裁决的重要性：
- 在具体案件中，法院将综合考虑双方的经济状况、彩礼的给付及使用情况、婚姻存续时间以及离婚的具体原因等因素，来判决是否退还彩礼以及退还的数额。因此，最终的处理结果应以法院的裁决为准。
其他考虑因素：
- 除了上述法定情形外，法院还可能考虑彩礼的性质与用途、实际履行情况以及过错责任认定等因素。例如，若离婚系因一方重大过错（如家暴、出轨）导致，法院可能酌情减少过错方主张彩礼返还的比例。
四、建议与注意事项
保留证据：
- 男方在要求退还彩礼时，应保留好相关证据，如彩礼给付的转账记录、银行流水、购买彩礼的发票或收据等，以证明彩礼的给付事实及具体数额。
理性沟通：
- 在处理此类问题时，双方应保持理性沟通，寻求妥善的解决方案。如果无法协商一致，可以通过法律途径解决争议。
尊重法院裁决：
- 无论最终结果如何，双方都应尊重法院的裁决，并按照裁决结果履行相应的义务。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。