在离婚时，如果女方拒绝做亲子鉴定且最终认定孩子非男方亲生，男方之前支付的抚养费通常是需要返还的。以下是对此问题的详细分析：
一、法律依据
《中华人民共和国民法典》第一千零七十一条：非婚生子女享有与婚生子女同等的权利，不直接抚养非婚生子女的生父或生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。但这一条款的前提是存在亲子关系。若经鉴定确认无亲子关系，则不适用此条款中关于抚养费的规定。
《中华人民共和国民法典》第九百八十五条：得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。在此情况下，男方因误认为存在亲子关系而支付的抚养费，属于“没有法律根据取得的不当利益”，女方（及实际抚养人）应予以返还。
相关司法解释：如《最高人民法院关于夫妻关系存续期间男方受欺骗抚养非亲生子女离婚后可否向女方追索抚育费的复函》也明确支持了男方在发现子女非亲生后，有权追索已支付的抚育费。
二、返还范围与考虑因素
返还范围：
- 原则上，男方有权要求返还自知道或应当知道子女非亲生之日起至子女独立生活期间所支付的全部抚养费。
- 若男方在抚养过程中因对子女的感情投入而自愿承担部分费用，且该部分费用未超出合理范围，可能不被视为可返还的不当得利。但这种情况较为特殊，需要具体分析。
考虑因素：
- 抚养时间：抚养时间越长，可能涉及的抚养费金额越大，但也可能因男方与子女形成了较深的情感联系而影响返还的数额。
- 经济能力：双方的经济状况会影响抚养费的计算标准和返还的可行性。如果女方经济困难，法院可能会酌情减少返还金额。
- 当地生活水平：不同地区的生活水平差异可能导致抚养费标准的不同，因此在计算返还金额时需要考虑当地的实际生活水平。
- 子女实际需要：虽然子女非亲生，但在其成长过程中确实产生了必要的费用，如教育、医疗等，这部分费用在返还时应予以适当考虑。
三、实践中的处理方式
协商解决：
- 在发现子女非亲生后，双方可通过友好协商解决抚养费返还问题。这种方式灵活且成本较低，有助于维护双方的关系和子女的权益。如果双方能够达成一致意见，可以签订书面协议并履行。
诉讼解决：
- 若协商不成，男方可通过诉讼途径主张权利。法院将根据具体情况判决女方返还相应抚养费，并可能涉及精神损害赔偿等诉求。在诉讼过程中，男方需要提供充分的证据证明子女非亲生以及自己支付了抚养费的事实。
四、特殊情况下的处理
- 如果女方拒绝做亲子鉴定，但男方有充分证据证明子女非亲生（如其他亲属的DNA鉴定结果、女方承认的书面或录音证据等），法院仍然可以认定子女非亲生的事实，并判决女方返还抚养费。
- 如果男方在支付抚养费时明知子女非亲生，但仍自愿支付，那么这部分费用可能不被视为不当得利，女方无需返还。但这种情况较为罕见，且需要男方提供充分的证据证明自己的明知和自愿。
总结与建议：
在离婚时，如果女方拒绝做亲子鉴定且最终认定孩子非男方亲生，男方之前支付的抚养费通常是需要返还的。但具体返还金额和方式需要根据双方的经济状况、抚养时间、当地生活水平以及子女实际需要等因素进行综合考虑。如果双方能够协商解决最好；如果协商不成，男方可以通过诉讼途径主张自己的权利。在处理此类问题时，建议男方咨询专业律师以获取更具体的法律建议和帮助。如果你有进一步的法律问题或需要更详细的解答，请直接向我咨询。