出轨给对方家庭赔偿的钱是否可以要回来，这主要取决于资金的性质、用途以及是否有明确的法律依据，以下分情况讨论：

1. 赠与性质的资金

   • 如果出轨方在婚姻期间自愿将财产赠予对方家庭，且该赠予行为已完成（如转账、购买礼物等），通常视为无条件赠与。在这种情况下，除非存在法定撤销事由，如受赠人严重侵害赠与人或其近亲属的合法权益，否则一般无法要求返还。
   • 特殊情况：若赠予行为附有条件（如以维持婚姻关系为目的的特定赠与），且条件未成就（如因出轨导致婚姻破裂），则可能要求返还。但这种情况需要具体证据支持，且法律上的认定可能较为复杂。

2. 借贷性质的资金

   • 如果有明确的借贷证据（如借条、转账记录、聊天记录等），表明资金是借给出轨方的对方家庭的，那么无论出轨行为是否发生，出借人都有权要求借款人归还本金及合理利息。

3. 共同开支与家庭费用

   • 对于共同生活期间的正常开支和家庭费用，即使是由出轨方支付，也一般视为双方共同承担，无法单独要求返还。

4. 不当得利与赔偿

   • 如果出轨方因出轨行为向对方家庭支付了不当利益（如大额财物作为“赔偿”），且这种支付行为违背了公序良俗或法律法规，受损方（即出轨方的配偶或家庭）可能通过法律途径要求返还。
   • 法律依据：根据《中华人民共和国民法典》的相关规定，因出轨导致的精神损害或经济损失，受害方可能主张赔偿，但需提供充分证据证明损失与出轨行为的直接关联。同时，如果出轨方擅自处分夫妻共同财产，配偶也有权要求确认该处分行为无效，并追回相关财产。

5. 离婚时的损害赔偿

   • 如果出轨行为导致了离婚，且出轨方存在重大过错（如重婚、与他人同居等），无过错方有权根据《中华人民共和国民法典》第一千零九十一条的规定请求损害赔偿。这种赔偿可能包括精神损害赔偿和财产损害赔偿，但具体数额和范围需由法院根据案件具体情况进行判定。

法律建议：

• 在处理此类问题时，建议首先尝试与对方沟通，明确资金性质并协商解决方案。
• 如果协商无果，可以寻求第三方调解机构的帮助，达成和解协议。
• 若调解仍无法解决问题，可以向法院提起诉讼，提交相关证据支持诉求。在诉讼过程中，务必注意诉讼时效的限制，例如赠与合同纠纷需在知道撤销事由一年内起诉。

总结：出轨给对方家庭赔偿的钱是否可以要回来，并没有一个简单的答案。它取决于多种因素的综合考量，包括资金的性质、用途、是否有明确的法律依据以及双方的具体情况等。因此，在处理此类问题时，建议咨询专业律师（即我本人）以获取针对性的法律意见和解决方案。