关于“男方没有生育能力起诉离婚能否不退还彩礼”的问题，我们可以从法律的角度进行详细分析。
首先，需要明确的是，男方不育并不直接构成女方需要退还彩礼的法定理由。彩礼的退还通常与以下三种情形相关：
在您的情境中，如果男方和女方已经办理了结婚登记手续，并且共同生活了一段时间，那么彩礼一般是不予返还的。男方的不育问题，虽然可能对夫妻感情产生影响，甚至导致感情破裂，但这并不直接构成女方需要退还彩礼的法律依据。
然而，如果男方能够证明因为不育问题导致的离婚，且这一问题对夫妻感情产生了决定性影响，同时彩礼的给付确实给男方带来了经济上的困难，那么男方可以向法院提起诉讼，要求女方返还部分或全部彩礼。在这种情况下，法院会根据双方的具体情况，包括婚姻持续的时长、共同生活的实际状况、彩礼的具体数额、导致不育的原因以及彩礼给付是否导致男方生活困难等因素，进行综合判断。
总的来说，是否退还彩礼不能一概而论，必须结合实际情况以及法律规定来进行判定。如果双方无法就此达成一致，建议通过法律途径解决，由法院根据具体事实和法律规定作出公正裁决，以维护双方的合法权益。