离婚退彩礼并非只起诉女方，而是要根据具体情况来判断是否需要退还彩礼，以及起诉的对象。以下是对此问题的详细分析：
一、可以起诉退还彩礼的法定情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，存在以下三种情形时，给付彩礼的一方（无论是男方还是女方，但实践中多为男方）有权请求返还彩礼，并且通常会得到法院的支持：
双方未办理结婚登记手续：
- 若男女双方仅按习俗举办婚礼但未进行婚姻登记，无论是否共同生活，给付彩礼的一方通常有权要求返还彩礼。例如，男女双方举办了订婚仪式并给付了彩礼，但后续因各种原因未能完成结婚登记，此时给付方即可依法起诉要求对方（多为女方）退还彩礼。
双方已办理结婚登记但未共同生活：
- 尽管双方在法律上已成为夫妻，但若实际上并未共同生活，即未形成实质的夫妻权利义务关系，则在离婚时，给付彩礼的一方有权要求返还彩礼。不过，这一情形的认定需有充分证据支持，如双方的居住证明、证人证言等，以证明双方确未共同生活。此时，起诉的对象为对方配偶。
婚前给付彩礼导致给付人生活困难：
- 此处的“生活困难”指的是给付彩礼后，给付方依靠自身力量无法维持当地最基本的生活水平。这种困难必须是绝对性的，而非相对性的。例如，男方因给付彩礼而背负巨额债务，导致家庭经济陷入严重困境，无法正常生活。在此情况下，离婚时男方可请求女方返还彩礼，且该请求应以双方离婚为条件。同样，起诉的对象为对方配偶。
二、起诉对象并非仅限于女方
- 在离婚退彩礼的纠纷中，起诉的对象并非仅限于女方。如果彩礼是由男方给付给女方的，且符合上述法定情形之一，男方可以起诉女方要求退还彩礼。
- 反之，如果彩礼是由女方给付给男方的（虽然这种情况较为少见），且符合法定情形，女方同样可以起诉男方要求退还彩礼。
- 在某些特殊情况下，如彩礼是给付给女方父母的（虽然这不符合传统习俗，但实践中可能存在），且符合法定情形，理论上也可能需要起诉女方父母（但这种情况较为复杂，需具体分析）。
三、司法实践中的考量因素
在审理彩礼返还案件时，法院会综合考虑多种因素来确定是否返还以及返还的具体数额。这些因素包括但不限于：
- 双方共同生活的时间长短：结婚时间较短可能意味着夫妻关系尚未稳定，法院可能判决适当返还部分彩礼；而结婚时间较长则通常不支持返还请求。
- 彩礼的数额大小：彩礼数额较大时，法院可能更倾向于判决返还部分或全部彩礼。
- 彩礼的用途：若彩礼已用于购买家庭生活用品、支付共同生活开支等，女方可能无需返还或仅需返还剩余部分。
- 双方的过错程度：如离婚因一方过错导致，如重婚、与他人同居、实施家庭暴力等，法院在判决时会考虑过错方的行为对婚姻关系的影响，并据此调整彩礼返还问题。
四、建议与注意事项
收集证据：
- 在考虑起诉退还彩礼之前，务必收集好相关证据。这些证据应包括彩礼给付的凭证（如转账记录）、双方的聊天记录或通讯记录（以证明彩礼给付的事实及双方对彩礼的认知）、以及能够证明给付方因彩礼导致生活困难的证据（如债务证明、收入证明等）。
协商解决：
- 诉讼并非解决此类纠纷的唯一途径。在实际操作中，建议双方首先尝试通过协商来解决问题。协商不仅有助于维护双方的关系和谐，还可能更快速地达成解决方案。若协商无果，再考虑通过法律途径寻求救济。
咨询专业律师：
- 离婚退彩礼的纠纷涉及复杂的法律问题和证据收集，建议咨询专业律师以获取更具体的法律建议和指导。作为专业律师，我可以根据你的具体情况提供针对性的法律帮助。
总结来说，离婚退彩礼并非只起诉女方，而是要根据具体情况来判断是否需要退还彩礼以及起诉的对象。在处理此类纠纷时，请务必收集好相关证据并咨询专业律师的意见。