结婚三五年没生小孩，离婚时男方要求退还彩礼通常是不合法的。彩礼的退还与是否生育子女无直接关联，而是取决于是否符合特定的法律条件。以下是对此问题的详细分析：

1. 彩礼退还的法定情形：
   • 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼，如果查明属于以下情形，人民法院应当予以支持：
     1. 双方未办理结婚登记手续；
     2. 双方办理结婚登记手续但确未共同生活；
     3. 婚前给付并导致给付人生活困难。

其中，第二、三项规定的适用以双方离婚为条件。

1. 结婚三五年未生育子女的情况：

   • 结婚三五年未生育子女，并不属于上述彩礼退还的法定情形之一。
   • 彩礼的给付通常是基于婚姻关系的成立，而非生育子女的条件。
   • 因此，仅因未生育子女而要求退还彩礼，缺乏法律依据。

2. 其他考虑因素：

   • 在实际生活中，彩礼可能已用于双方的共同生活或已被消耗。
   • 如果彩礼已转化为夫妻共同财产的一部分，那么在离婚时可能会作为共同财产进行分割，而非单纯作为彩礼退还。

综上所述，结婚三五年没生小孩，离婚时男方要求退还彩礼通常是不合法的。彩礼的退还应遵循法律规定的条件，并与是否生育子女无直接关联。如果双方对彩礼问题存在争议，建议通过协商或诉讼方式解决，并咨询专业律师以获取更具体的法律建议。