试管婴儿费用在离婚时是否应退还，取决于具体情况。以下是对此问题的详细分析：
试管婴儿费用视为共同支出：
- 试管婴儿费用是在夫妻婚姻关系存续期间，为了孕育子女所必需之支出。根据《中华人民共和国民法典》的相关规定，此类费用应当以夫妻双方的共同财产进行支付。
- 如果夫妻共同财产无法承担此项花费，导致负债，那么理应由夫妻双方共同承担归还责任。
离婚时的处理：
- 在离婚过程中，如果男方要求女方分担试管婴儿费用，而双方未能就此达成共识，那么将由当地的司法机构（如法院）负责作出裁决或判决。
- 法院在裁决时，会综合考虑双方的经济状况、离婚原因、子女抚养权归属等因素，以决定试管婴儿费用的分担方式。
特殊情况：
- 如果试管婴儿费用是由一方单独支付，且未使用共同财产，那么在离婚时，该方可能会主张另一方分担部分或全部费用。这同样需要由司法机构根据具体情况进行裁决。
综上所述，试管婴儿费用在离婚时是否应退还，并没有固定的答案。它取决于夫妻双方的具体经济状况、离婚原因、子女抚养权归属以及试管婴儿费用的支付方式等多个因素。如果双方无法就此达成共识，建议寻求司法机构的帮助，以获得公正、合理的裁决。