针对您提出的“夫妻关系期间给孩子买了保险，离婚后投保人退掉了保险，退的钱应该归谁所有”这一问题，我们可以从以下几个方面进行详细分析：
一、保险费的性质
首先，我们需要明确的是，在夫妻关系存续期间，用共同财产为孩子购买的保险，其保险费属于夫妻共同财产。这意味着，保险的现金价值（即退保时能够拿到的钱）在理论上也应视为夫妻共同财产的一部分。
二、退保及退款归属的原则
退保金原则：根据保险合同及《中华人民共和国保险法》的相关规定，退保金原则上应归还原投保人。在这个案例中，原投保人是男方，因此从法律条文上看，退保金似乎应归男方所有。
共同财产分割原则：然而，由于保险费是用夫妻共同财产缴纳的，因此退保金也应作为夫妻共同财产进行分割。这意味着，即使退保金在法律上归原投保人所有，但在实际操作中，女方也有权要求分割这部分财产。
三、退款的具体归属
协商分割：在离婚后，双方应首先通过协商来确定退保金的分割方式。这可以基于双方对家庭财产的贡献、抚养孩子的情况、经济状况等多种因素进行综合考虑。
法律判决：如果双方无法就退保金的分割达成一致，那么可以通过法律途径来解决。法院会根据双方的实际情况、保险合同的条款以及相关法律法规来作出公正判决。通常情况下，法院会按照平等原则进行分割，但也会考虑具体因素，如过错方责任、对孩子的抚养贡献等，来适当调整分割比例。
四、特殊情况的处理
如果女方能够证明自己在家庭经济贡献、抚养孩子等方面有特殊情况，或者男方退保行为对女方或孩子利益造成了损害，那么法院在分割退保金时会予以考虑。在这种情况下，女方可能会适当多分一部分退保金。
五、建议与解决方案
协商优先：我建议您首先尝试与男方进行协商，寻求双方都能接受的解决方案。这不仅可以节省时间和精力，还可以避免不必要的法律纠纷。
法律咨询：如果协商无果，我建议您咨询专业律师，了解自身法律权益及可能的解决方案。律师可以根据您的具体情况提供有针对性的法律建议。
收集证据：在准备采取法律行动前，请务必收集好相关证据，如保险合同、购买凭证、离婚协议、银行流水等。这些证据将有助于证明您的权益和主张。
提起诉讼：如果必要，您可以向法院提起诉讼，要求分割退保退款。在诉讼过程中，请保持冷静理性，尊重法律程序，相信法院会作出公正判决。
综上所述，夫妻离婚后孩子保险的退保金归属问题应根据具体情况进行协商和处理。在处理过程中，应遵循法律法规的相关规定，确保双方的权益得到妥善保障。