结论：双方都有家庭的情况下给对方的钱能否要回，需根据具体情况判断，主要包括是否构成赠与、是否违反公序良俗、是否存在欺诈或胁迫等因素。以下从不同角度进行详细分析：
一、赠与行为的性质与撤销
赠与合同的成立：
- 若一方明确表示将财产无偿给予对方，且对方表示接受，则赠与合同成立。
- 赠与合同可以是口头的，也可以是书面的，但大额财产赠与建议采用书面形式以避免纠纷。
赠与的撤销：
- 任意撤销权：根据《中华人民共和国民法典》第六百五十八条，赠与人在赠与财产的权利转移之前可以撤销赠与。但经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同除外。
- 法定撤销权：若受赠人有严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等情形，赠与人可以撤销赠与。
特殊情况：
- 若赠与行为涉及夫妻共同财产，且未经另一方同意，则可能构成无权处分，另一方有权要求返还。
二、公序良俗原则的应用
违反公序良俗的赠与：
- 若赠与行为违反了社会公共利益或善良风俗，如基于婚外情等不正当关系进行的赠与，法院可能认定该赠与行为无效。
- 在此类情况下，赠与人或其配偶有权要求受赠人返还财产。
案例参考：
- 实践中，法院对于基于婚外情等不正当关系进行的赠与，通常倾向于支持返还请求，以维护社会公序良俗。
三、欺诈或胁迫下的赠与
欺诈或胁迫的认定：
- 若赠与行为是在受赠人欺诈或胁迫下进行的，赠与人有权要求撤销赠与并返还财产。
- 欺诈或胁迫的认定需依据具体证据和事实情况。
法律后果：
- 一旦认定存在欺诈或胁迫，赠与合同自始无效，受赠人需返还所得财产。
四、实际操作建议
收集证据：
- 若希望要回赠与的财产，应首先收集相关证据，如转账记录、聊天记录、赠与合同等。
- 证据应能够证明赠与行为的存在、性质以及可能存在的欺诈、胁迫或违反公序良俗等情形。
协商与调解：
- 在提起诉讼前，可以尝试与对方进行协商或寻求第三方调解，以和平解决纠纷。
提起诉讼：
- 若协商或调解无果，可以向法院提起诉讼，要求撤销赠与并返还财产。
- 诉讼过程中需遵循法律程序，提交充分证据以支持自己的主张。
进一步思考：在处理此类纠纷时，除了考虑法律因素外，还应关注道德和社会影响。赠与行为往往涉及个人情感和道德判断，因此在处理时应尽量保持客观和公正。若您在此类问题上遇到困惑或需要进一步的法律帮助，请直接向我咨询。