关于退彩礼的起诉主体问题，结论是：既可以是男方起诉女方，也可以是女方起诉男方（但女方起诉男方退彩礼的情形极为罕见，通常男方是要求退还彩礼的一方），具体取决于谁主张退还彩礼以及是否符合法定退还条件。以下从不同角度详细分析：
一、男方起诉女方退还彩礼的情形
在符合法定情形下，男方有权起诉女方要求退还彩礼。这些法定情形主要包括：
双方未办理结婚登记手续：
- 如果男女双方仅举办了民间婚礼，但并未前往婚姻登记机关办理正式的结婚登记手续，那么男方有权利向法院起诉，要求女方退还彩礼。这是因为彩礼的给付通常是以缔结婚姻关系为前提的，若婚姻关系未正式成立，则彩礼的给付失去了其法律上的基础。
双方已办理结婚登记手续但未共同生活：
- 即便男女双方已经领取了结婚证，但如果由于各种原因（如工作、性格不合等）实际上并未共同生活在一起，例如长期异地居住导致没有实际共同生活，那么在离婚时，男方可以主张女方退还彩礼。这一规定体现了法律对婚姻实质的尊重，即婚姻不仅仅是形式上的结合，更应是实质上的共同生活。
婚前给付彩礼导致给付人生活困难：
- 如果男方家庭为了给付彩礼而耗尽了积蓄，甚至背负了债务，导致家庭生活陷入困境，那么在离婚时，男方也有权向法院起诉，要求女方退还彩礼。这一规定旨在保护因彩礼给付而遭受经济困难的男方及其家庭的合法权益。
需要注意的是：
- 对于上述第2、3种情形，要求退还彩礼的前提是双方已经离婚。
- 男方在起诉要求退还彩礼时，必须提供充分的证据来证明彩礼的给付情况以及符合上述法定退还情形的相关事实。证据可能包括彩礼给付的凭证（如银行转账记录、收据）、双方未共同生活的证明（如分居协议、证人证言）以及因给付彩礼导致生活困难的证明（如债务清单、低保证明）。
二、女方起诉男方退还彩礼的情形（极为罕见）
虽然法律上并未禁止女方起诉男方退还彩礼，但在实际生活中，这种情况极为罕见。因为彩礼通常是男方基于结婚目的向女方给付的财物，女方通常不会主动要求退还彩礼。然而，如果存在特殊情况，如男方以欺诈、胁迫等手段迫使女方接受彩礼，或者彩礼的给付违反了法律法规的强制性规定（如彩礼数额巨大，涉嫌买卖婚姻等），女方在特定情况下也可能有权起诉男方要求退还彩礼。但这种情况需要具体分析，且通常涉及复杂的法律事实和证据认定。
三、综合建议
- 评估情况：在决定是否起诉要求退还彩礼前，应仔细评估自己的情况是否符合法定退还条件。
- 准备证据：如果符合法定退还条件，应准备充分的证据来支持自己的主张。
- 法律程序：考虑到法律程序的复杂性和专业性，建议直接向我咨询以获取更详细的法律指导和帮助。
法律依据：
《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条：当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。