结论：在明知双方都有家庭的情况下还保持着20年的关系，给女方的钱是否能要回去，需分情况讨论，主要取决于款项的性质以及是否存在法定可撤销或无效的情形。
分析如下：
款项性质为赠与：
- 一般赠与：如果男方给女方的钱被认定为一般赠与，即男方出于自愿、无偿地将财产给予女方，且没有附加任何条件，那么这种赠与在法律上通常是有效的，且赠与完成后，男方一般不能要求返还。
- 附条件赠与：如果赠与是附条件的，比如以维持不正当关系为条件，那么这种赠与可能因违反公序良俗而被认定为无效。在这种情况下，男方有权要求女方返还赠与的财产。但需要注意的是，证明赠与附有条件且该条件违反公序良俗可能存在一定的难度。
款项性质为借款：
- 如果男方给女方的钱被认定为借款，即双方之间存在借贷关系，那么男方有权要求女方按照约定的期限和方式返还借款。在这种情况下，无论双方的关系如何，借款合同的有效性通常不受影响，男方可以依法追讨借款。
款项性质为不当得利：
- 如果女方没有合法依据获得男方的钱款，且男方因此遭受了损失，那么这种行为可能构成不当得利。在这种情况下，男方有权要求女方返还不当得利。但同样需要注意的是，证明女方没有合法依据获得钱款可能存在一定的难度。
特殊情形下的返还请求：
- 如果男方给女方的钱款涉及夫妻共同财产，且男方的配偶对此并不知情或不同意，那么男方的配偶可能有权要求女方返还部分或全部钱款。这通常涉及到夫妻共同财产的保护和分割问题，需要具体分析夫妻之间的财产约定以及钱款的来源和用途。
法律建议：
- 收集证据：如果男方想要要回给女方的钱，首先需要收集相关证据，如转账记录、聊天记录、证人证言等，以证明款项的性质和用途。
- 咨询专业律师：由于这种情况涉及复杂的法律关系和证据收集，建议男方咨询专业律师，以便更准确地评估自己的权益和可能的法律后果。
- 考虑和解或调解：在诉讼之前，双方可以考虑通过和解或调解的方式解决纠纷，以节省时间和成本，并避免不必要的法律冲突。
可能后果：
- 如果男方能够证明款项的性质和用途，且符合法定返还条件，那么法院可能会支持男方的返还请求。
- 如果男方无法提供充分证据或款项性质不符合法定返还条件，那么法院可能会驳回男方的诉讼请求。
总之，在明知双方都有家庭的情况下还保持着关系并给女方钱，是否能要回去需根据具体情况判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。