结论：双方都有家庭的情况下，给女方的钱原配是否能要回去，这主要取决于钱的性质、给钱的方式以及是否存在特定的法律情形。以下从不同角度进行分析：
如果钱是夫妻共同财产：
- 法律背景：根据《中华人民共和国民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，除另有约定外，应归夫妻共同所有。这意味着，任何一方未经对方同意，不得擅自处分夫妻共同财产。
- 法律后果：如果男方未经原配同意，擅自将夫妻共同财产赠与给女方，这种赠与行为可能因侵犯原配的财产权益而被认定为无效。原配有权要求女方返还这部分财产。
如果钱是男方的个人财产：
- 法律背景：如果男方使用的是其个人财产进行赠与，且赠与行为不违反法律法规的强制性规定，也不违背公序良俗，那么这种赠与行为在法律上可能是有效的。
- 特殊情况：然而，即使钱是男方的个人财产，如果赠与行为发生在男方与原配婚姻关系存续期间，且原配能够证明男方赠与财产的行为损害了其合法权益（如男方将大量财产赠与给女方，导致原配生活困难），原配仍有可能通过法律途径要求女方返还部分或全部财产。但这需要具体证据支持，且法院会根据具体情况进行裁决。
如果存在欺诈、胁迫等情形：
- 法律背景：如果男方在给钱的过程中存在欺诈、胁迫等情形，导致女方在违背真实意愿的情况下接受了赠与，那么女方有权根据《中华人民共和国民法典》的相关规定，请求法院撤销赠与合同，并返还财产。
- 法律后果：在这种情况下，原配作为男方的配偶，虽然不是赠与合同的直接当事人，但如果赠与行为损害了其合法权益，原配也可以作为利害关系人参与诉讼，要求女方返还财产。
建议：
- 对于原配来说，如果发现男方擅自将财产赠与给女方，应首先收集相关证据（如转账记录、聊天记录等），以证明赠与行为的存在以及财产的性质。
- 然后，原配可以与男方进行沟通，要求其追回赠与的财产。如果男方拒绝或无法追回，原配可以考虑通过法律途径解决纠纷。
- 在诉讼过程中，原配需要充分证明赠与行为损害了其合法权益，以及男方未经其同意擅自处分夫妻共同财产的事实。
可能遇到的法律难题及应对：
- 证据收集困难：如果原配无法收集到足够的证据来证明赠与行为的存在或财产的性质，可能会导致诉讼失败。因此，原配在发现男方有不当行为时，应尽快收集证据，并考虑咨询专业律师以获取更具体的法律建议。
- 法律适用复杂：由于每个案件的具体情况都不同，法律适用的结果也可能因案件而异。因此，原配在诉讼过程中需要密切关注法院的裁决动态，并根据实际情况调整诉讼策略。
总之，双方都有家庭的情况下给女方的钱原配是否能要回去，需要根据具体情况进行判断。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。