结论：双方都有家庭的情况下，借给情人的钱是可以要回来的，但具体能否成功要回以及要回的方式，需根据借款的性质、证据情况以及对方的还款意愿等因素综合判断。
分析说明：
借款性质：
- 如果这笔钱被明确认定为借款，即双方有明确的借贷合意，且钱款已经实际交付，那么从法律上讲，这笔借款是受保护的，出借人有权要求借款人归还。
- 如果这笔钱被认定为赠与，特别是无偿赠与，那么出借人可能难以要求对方归还。赠与合同一旦成立，除非存在法定撤销事由，否则赠与人不得随意撤销赠与。
证据情况：
- 要证明借款的存在，需要提供充分的证据，如借条、转账记录、聊天记录等。这些证据能够证明双方之间存在借贷关系，以及钱款的实际交付情况。
- 如果缺乏这些证据，或者证据不足以证明借款的存在，那么出借人可能面临举证不能的风险，即难以证明自己的主张，从而难以要回借款。
对方还款意愿：
- 即使借款性质明确，证据充分，但如果对方拒绝还款，出借人可能需要通过法律途径来追讨借款。这包括向法院提起诉讼，申请强制执行等。
- 在诉讼过程中，如果对方提出抗辩，如认为借款已经归还、借款不存在等，出借人需要提供相应的证据来反驳对方的抗辩。
特殊场景：
- 如果借款发生在婚姻关系存续期间，且对方将借款用于家庭共同生活或共同经营，那么这笔借款可能被视为夫妻共同债务。在这种情况下，即使借款人是个人的情人，出借人也可能有权要求借款人的配偶承担部分或全部还款责任。但这需要具体证据来支持，且涉及复杂的法律关系，建议咨询专业律师。
行动建议：
- 收集证据：尽快收集所有能够证明借款存在的证据，如借条、转账记录、聊天记录等。这些证据将是你追讨借款的关键。
- 与对方协商：在证据充分的情况下，可以尝试与对方协商还款事宜。如果对方愿意还款，可以签订还款协议，明确还款时间和方式。
- 寻求法律帮助：如果对方拒绝还款或协商无果，建议寻求专业律师的帮助。律师可以根据你的具体情况，为你制定合适的追讨策略，并代表你向法院提起诉讼或申请强制执行。
法律后果：
- 如果成功追讨回借款，你将能够收回自己的资金，并可能获得一定的利息或违约金（如果借款合同中有约定）。
- 如果追讨失败，你可能面临资金损失的风险。此外，如果借款行为被认定为不道德或违法（如涉及婚外情等），还可能对你的社会声誉和家庭关系造成负面影响。
后续思考依据：
在处理此类问题时，需要充分考虑借款的性质、证据情况以及对方的还款意愿等因素。同时，也要意识到追讨借款可能面临的法律风险和后果。因此，在做出任何决策之前，建议咨询专业律师的意见，以确保自己的权益得到最大程度的保护。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。