子女在特定情况下确实有可能要回父亲给情人的钱。这主要涉及到法律上的赠与合同效力以及夫妻共同财产的保护问题，下面我将从几个角度详细分析：
一、赠与合同的效力与撤销
赠与合同的基本原则：
- 赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。在一般情况下，赠与合同一旦成立并生效，赠与人就不得随意撤销。
特定情况下的撤销权：
- 如果赠与行为侵犯了夫妻共同财产权，即父亲未经母亲同意，擅自将夫妻共同财产赠与情人，那么这种赠与行为可能因侵犯配偶的财产权益而被视为无效或可撤销。
- 根据《民法典》的相关规定，因重大误解、欺诈、胁迫等情形订立的合同，或者一方以欺诈、胁迫手段使对方在违背真实意思的情况下实施的民事法律行为，受损害方有权请求人民法院或者仲裁机构予以撤销。在父亲赠与情人财产的情况下，如果母亲能够证明该赠与行为侵犯了其财产权益，且存在上述可撤销的情形，那么她有权请求撤销该赠与合同。
二、夫妻共同财产的保护
夫妻共同财产的定义：
- 夫妻共同财产是指夫妻在婚姻关系存续期间所得的财产，包括工资、奖金、生产经营的收益、知识产权的收益等。这些财产原则上应由夫妻双方共同共有。
擅自处分夫妻共同财产的后果：
- 如果父亲未经母亲同意，擅自将夫妻共同财产赠与情人，那么这种行为不仅侵犯了母亲的财产权益，也违反了夫妻之间的忠实义务。在这种情况下，母亲有权向法院提起诉讼，要求确认赠与合同无效或撤销赠与合同，并追回被赠与的财产。
三、实际操作中的建议
收集证据：
- 如果子女想要追回父亲给情人的钱，首先需要收集相关证据，如转账记录、聊天记录、证人证言等，以证明赠与行为的存在以及该行为侵犯了夫妻共同财产权。
咨询专业律师：
- 在收集到足够证据后，建议咨询专业律师以了解具体的法律程序和诉讼策略。律师可以根据具体情况提供针对性的法律建议，并帮助子女制定合适的诉讼方案。
提起诉讼：
- 如果协商无果或对方拒绝返还财产，子女可以在律师的协助下向法院提起诉讼，要求确认赠与合同无效或撤销赠与合同，并追回被赠与的财产。
四、可能面临的法律后果
赠与合同被确认无效或撤销：
- 如果法院最终确认赠与合同无效或撤销了赠与合同，那么情人需要返还被赠与的财产。
父亲承担法律责任：
- 如果父亲的赠与行为被认定为侵犯夫妻共同财产权或违反忠实义务，他可能需要承担相应的法律责任，如赔偿损失等。
最后需要强调的是，每个案件的具体情况都有所不同，因此在处理此类问题时，建议子女先咨询专业律师以获取具体的法律建议。如果你有具体的法律问题或需要进一步的帮助，请直接向我咨询，我会根据你的具体情况提供针对性的法律建议。