《民法典》及相关司法解释中，并未直接规定女方有精神病离婚时必须退还彩礼，彩礼是否退还需根据具体情况判断。以下从不同角度为您详细分析：
一、彩礼退还的一般原则
彩礼通常是男方为缔结婚姻关系而赠与女方的财物，本质上归女方所有。在婚姻关系存续期间取得的财产才是夫妻共同财产，而彩礼一般是婚前所得，属于女方个人财产，一般情况下离婚时不需要返还彩礼。
二、彩礼退还的法定情形
根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
- 双方未办理结婚登记手续：如果双方没有办理结婚登记，那么彩礼应当退还，因为婚姻关系并未成立。
- 双方办理结婚登记手续但确未共同生活：如果双方已经办理了结婚登记，但实际上并未共同生活，那么彩礼也应当退还。这通常指的是双方没有实际履行夫妻义务，如共同居住、相互照顾等。
- 婚前给付并导致给付人生活困难：如果男方在婚前给付彩礼后，导致自己生活困难，那么在离婚时，男方也有权要求返还彩礼。这里的“生活困难”指的是给付彩礼后，依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。
三、女方有精神病时的彩礼退还问题
女方有精神病并不一定是退还彩礼的法定理由。在判断是否退还彩礼时，需要综合考虑以下因素：
- 双方共同生活的时间长短：如果双方已经共同生活了较长时间，且女方的精神病并未对共同生活造成严重影响，那么一般不应支持彩礼返还的请求。
- 女方病情的严重程度及对婚姻的影响：如果女方的精神病病情严重，且对婚姻关系造成了严重影响，如导致双方无法共同生活或感情破裂，那么在离婚时，男方可能更有权要求返还彩礼。但这也需要具体案件具体分析，不能一概而论。
- 彩礼的使用情况：如果彩礼已经用于双方的共同生活或女方的治疗等，那么在离婚时，男方要求返还彩礼的请求可能不会得到支持。
四、法律建议
- 协商解决：如果双方能够协商解决彩礼退还问题，那么最好签订书面协议，以避免后续纠纷。
- 诉讼解决：如果协商不成，那么可以通过诉讼途径解决。在诉讼过程中，法院会根据法律和实际情况进行综合判断，作出公正的裁决。