双方都有家庭在一起维系关系给的钱，在一般情况下，如果这笔钱被认定为赠与，且不符合法定返还情形，则不需要退还；但如果存在特殊情况，如涉及婚外情等违背公序良俗的行为，或者符合法定返还情形，则可能需要退还。以下是对此问题的详细分析：
一、赠与关系的认定
赠与的定义：赠与是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。在双方都有家庭的情况下，如果一方给予另一方钱财，且明确表示为赠与，那么这笔钱在赠与完成后，原则上就属于受赠人的个人财产。
赠与的效力：赠与行为一旦完成，即具有法律效力，除非存在法定撤销情形，否则赠与人不得随意要求返还。
二、法定返还情形
根据相关法律法规，以下情形下，赠与人有权要求返还赠与的财产：
严重侵害赠与人或者赠与人近亲属的合法权益：如果受赠人严重侵害了赠与人或其近亲属的合法权益，赠与人可以要求撤销赠与并返还财产。但这种情况在双方都有家庭且维系关系的情况下较为罕见。
对赠与人有扶养义务而不履行：如果受赠人对赠与人有扶养义务而不履行，赠与人也可以要求撤销赠与并返还财产。这同样不适用于双方都有家庭且维系关系的一般情况。
不履行赠与合同约定的义务：如果赠与合同中约定了受赠人需要履行某些义务，而受赠人未履行，赠与人可以要求撤销赠与并返还财产。但在双方都有家庭且维系关系的情况下，这种约定通常较为模糊且难以证明。
特定情形下的彩礼返还：虽然彩礼通常与婚姻关系相关，但如果双方在维系关系过程中涉及类似彩礼的财物给付，且符合《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条规定的情形（如双方未办理结婚登记手续、办理结婚登记手续但确未共同生活、婚前给付并导致给付人生活困难等），则可能需要返还。但这种情况在双方都有家庭的情况下较为特殊，且需要具体证据支持。
三、特殊情况下的返还
违背公序良俗的行为：如果双方都有家庭却维系关系，并因此给付钱财，这种行为可能违背公序良俗。在司法实践中，法院可能会根据具体情况判断该赠与行为是否有效，并据此决定是否需要返还。例如，如果赠与行为被认定为对婚姻忠诚的破坏或对家庭责任的逃避，法院可能会倾向于支持返还。
涉及欺诈或胁迫：如果赠与行为是在欺诈或胁迫的情况下进行的，赠与人有权要求撤销赠与并返还财产。但这种情况需要具体证据支持，且较为罕见。
四、建议与风险提示
明确赠与意图：在给予钱财时，应明确赠与的意图和条件，以避免未来可能出现的纠纷。
保留相关证据：无论是赠与方还是受赠方，都应保留与赠与行为相关的证据，如转账记录、聊天记录等，以备不时之需。
遵守法律法规和公序良俗：双方应遵守法律法规和公序良俗，避免涉及婚外情等违背道德和法律的行为。
寻求专业法律意见：如果涉及较大金额的财物给付或存在复杂的法律关系，建议寻求专业律师的法律意见，以确保自身权益得到保障。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。