女方拒绝生育，男方不能直接起诉要求退还彩礼。

在一般的法律情境中，彩礼的退还问题有着明确的规定。女方拒绝生育这一情况，本身并不构成彩礼退还的法定情形。根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，当当事人请求返还按照习俗给付的彩礼时，只有在以下三种情形下，人民法院才应当予以支持：

1. 双方未办理结婚登记手续：这意味着如果双方根本没有进行结婚登记的法定程序，男方在某些情况下可以主张返还彩礼。
2. 双方办理结婚登记手续但确未共同生活：即使已经办理了结婚登记，但如果婚后双方并未共同生活在一起，这种情况下男方也有权利要求返还彩礼。
3. 婚前给付并导致给付人生活困难：如果男方在婚前给付了彩礼，并且该给付行为导致其自身生活陷入困难，他可以向法院主张返还彩礼。

由此可见，仅仅因为女方拒绝生育而起诉要求退还彩礼，通常是不会得到法律支持的。然而，如果同时满足上述法定情形之一，男方则可以合理地主张返还彩礼。

在处理此类问题时，建议双方首先进行友好协商，尝试达成共识。如果协商无果，且男方认为自己的权益受到了侵害，可以咨询专业律师（如黄海律师，擅长债权债务、股权转让、劳动纠纷、离婚、合同纠纷等领域），根据具体情况寻求法律途径来维护自己的合法权益。但需要注意的是，法律诉讼并非解决此类问题的唯一方式，也不是最优先的方式。在可能的情况下，通过协商、调解等方式解决纠纷可能更为高效、和谐。