结论前置：在双方都有家庭的情况下，向第三者索要回钱财，需根据钱财的性质（如是否为夫妻共同财产、是否构成赠与或借贷等）以及具体情况，通过协商、诉讼等合法途径来主张权利。以下分情况详细说明：

1. 若钱财属于夫妻共同财产，且未经配偶同意赠与第三者：

   • 法律依据：根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，归夫妻共同所有，双方有平等的处理权。若一方未经配偶同意，擅自将夫妻共同财产赠与第三者，该赠与行为可能因侵犯配偶的财产权益而被认定为无效。
   • 索要方式：在此情况下，受损方（即配偶）可以起诉第三者，要求确认赠与行为无效，并返还受赠的财产。同时，也可以起诉自己的配偶，要求其承担相应的法律责任，如赔偿损失等。

2. 若钱财属于一方个人财产，但以借贷形式给第三者：

   • 法律依据：若一方以个人财产出借给第三者，并签订了借款合同或留下了其他借贷证据，那么该借贷关系受法律保护。
   • 索要方式：出借方可以直接向第三者主张还款权利，若第三者拒不还款，出借方可以起诉至法院，要求第三者偿还借款及利息（如有约定）。

3. 若钱财属于一方个人财产，且以赠与形式给第三者，但赠与行为存在欺诈、胁迫等情形：

   • 法律依据：根据《中华人民共和国民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。但若赠与行为存在欺诈、胁迫等情形，赠与人有权撤销赠与。
   • 索要方式：在此情况下，赠与人可以起诉第三者，要求撤销赠与合同，并返还受赠的财产。但需要注意的是，撤销赠与的期限和条件需符合法律规定。

4. 协商与调解：

   • 在任何情况下，双方都可以尝试通过协商或调解的方式解决纠纷。这不仅可以节省时间和成本，还可以避免不必要的法律冲突。若协商或调解无果，再考虑通过诉讼途径解决。

行动建议：

• 在采取任何行动之前，建议先收集并保存好相关证据，如转账记录、聊天记录、借款合同等，以证明钱财的性质和流向。
• 根据具体情况选择合适的索要方式，并咨询专业律师（即向我咨询）以获取更具体的法律建议和指导。
• 在处理此类纠纷时，请保持冷静和理性，避免采取过激行为或言语攻击，以免加剧矛盾或引发不必要的法律风险。