结论：在女人出轨被男人起诉要回为自己花的钱的情况下，能否要回取决于钱的性质、用途以及相关法律规定。以下从不同角度进行分析：
一、钱的性质与用途
赠与性质：
- 如果男人给女人的钱被明确视为赠与，且赠与行为已经完成，那么根据《中华人民共和国民法典》的相关规定，赠与合同一旦成立并生效，除非存在法定撤销情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不得随意撤销赠与。
- 特殊情况：如果赠与的是大额财产，如房产、车辆等，且赠与行为发生在婚姻关系存续期间，但并未明确表示为个人财产赠与，那么这部分财产可能被视为夫妻共同财产，在离婚时可能涉及分割。然而，在出轨并起诉要回的情境下，若赠与行为已完成且无撤销情形，男人要回的难度较大。
借款性质：
- 如果男人给女人的钱被明确视为借款，且有书面借款协议或能够证明借款事实的其他证据（如转账记录、聊天记录等），那么男人有权要求女人归还借款。
- 在这种情况下，出轨行为本身并不影响借款关系的成立和履行，男人可以通过法律途径追讨借款。
共同消费或生活开支：
- 如果男人给女人的钱用于共同消费或生活开支，如共同旅行、购物、餐饮等，那么这部分钱通常被视为双方共同的花费，男人难以单独要回。
二、法律后果与建议
法律后果：
- 如果男人无法证明给女人的钱是借款或存在其他可撤销赠与的情形，那么他可能面临无法要回这些钱的风险。
- 如果男人能够证明给女人的钱是借款或存在可撤销赠与的情形，那么他可以通过法律途径追讨这些钱，但可能需要承担一定的诉讼成本和时间成本。
建议：
- 收集证据：男人应尽可能收集能够证明钱款性质、用途以及双方关系的证据，如转账记录、聊天记录、借款协议等。
- 咨询律师：在采取法律行动之前，男人应咨询专业律师，了解自己的权利和义务以及可能的法律后果。
- 考虑和解：如果双方关系尚未完全破裂，男人可以考虑与女人进行和解，通过协商达成一致意见，避免不必要的法律纠纷。
三、特殊情况下的处理
- 如果女人存在欺诈行为：如果男人给女人的钱是基于女人的欺诈行为（如虚构事实、隐瞒真相等）而给出的，那么男人有权要求撤销赠与并追回钱款。在这种情况下，男人需要提供充分的证据证明女人的欺诈行为。
- 如果涉及第三方利益：如果男人给女人的钱涉及第三方利益（如用于购买共同财产、偿还共同债务等），那么处理起来可能更加复杂。在这种情况下，男人需要综合考虑各方利益，并咨询专业律师以制定合适的法律策略。
最后，我想强调的是，每个案件都有其独特性和复杂性，因此以上分析仅供参考。如果你或你身边的人遇到类似问题，建议直接向我咨询，以便根据具体情况提供更准确的法律建议。