结论：双方都有家庭的情况下，男人自愿给钱是否需要退还，这主要取决于给钱行为的性质、目的以及是否违反了法律法规或公序良俗。以下从几个不同角度进行分析：

1. 赠与性质：

   • 如果男人给钱的行为被视为赠与，且赠与已经完成（即钱款已经交付给对方），那么在没有法定撤销赠与的情形下（如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等），赠与通常是不能要求退还的。
   • 法律依据：根据《中华人民共和国民法典》第六百五十八条，赠与人在赠与财产的权利转移之前可以撤销赠与。但经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同，不适用前款规定。

2. 借贷性质：

   • 如果男人给钱的行为实际上是一种借贷，即双方有明确的借贷合意，且男人期望对方在未来某个时间点归还这笔钱，那么这笔钱是需要退还的。
   • 建议：在这种情况下，最好有书面证据（如借条）来证明借贷关系，以便在需要时通过法律途径追讨。

3. 违反公序良俗或法律法规：

   • 如果男人给钱的行为是为了维持不正当的男女关系（如婚外情），或者涉及其他违反公序良俗或法律法规的情形，那么这种行为可能不受法律保护，甚至可能面临法律制裁。
   • 法律后果：在这种情况下，男人不仅可能无法要求退还钱款，还可能因为自己的不当行为而承担法律责任。

4. 特殊情形下的退还：

   • 如果男人给钱时存在重大误解（如误以为对方是自己的配偶或近亲属），或者对方以欺诈、胁迫等手段迫使男人给钱，那么男人有权要求退还。
   • 法律依据：根据《中华人民共和国民法典》的相关规定，因重大误解实施的民事法律行为，行为人有权请求人民法院或者仲裁机构予以撤销；一方以欺诈、胁迫的手段，使对方在违背真实意思的情况下实施的民事法律行为，受欺诈方或受胁迫方有权请求人民法院或者仲裁机构予以撤销。

综合建议：

• 在处理这类问题时，首先要明确给钱行为的性质和目的。
• 如果可能的话，尽量保留书面证据（如赠与协议、借条等）以证明双方的真实意图。
• 如果遇到纠纷或不确定的情况，建议及时咨询专业律师（即向我咨询），以便更好地维护自己的合法权益。

最后，婚姻家庭关系中的财产问题往往比较复杂，涉及到情感、法律和道德等多个层面。因此，在处理这类问题时，需要谨慎对待，避免因为一时的冲动或误解而给自己和他人带来不必要的麻烦。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。