结论：婚外情中男方给女方装修房子的钱，在特定情况下男方是可以起诉要回的，但具体能否要回需视情况而定。以下从不同角度进行分析：
一、法律关系分析
赠与合同关系：
- 如果男方将装修房子的钱赠与女方，且双方达成了赠与的合意，那么这通常构成赠与合同关系。根据《中华人民共和国民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。
- 在赠与合同关系中，如果赠与财产的权利已经转移（如装修已经完成，且装修费用已经支付），且不存在法定撤销赠与的情形（如严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行、不履行赠与合同约定的义务等），那么赠与人通常不能要求受赠人返还赠与的财产。
不当得利关系：
- 如果男方给女方装修房子的钱并非出于赠与的目的，而是基于某种误解或错误（如误以为双方存在婚姻关系或某种法律关系），或者女方以欺诈、胁迫等手段迫使男方支付装修费用，那么这可能构成不当得利。
- 在不当得利关系中，受损方（即男方）有权要求得利方（即女方）返还所得的利益。因此，如果男方能够证明女方构成不当得利，那么男方可以起诉要求女方返还装修费用。
二、具体情形分析
如果装修费用被认定为夫妻共同财产：
- 如果男方和女方存在婚姻关系（尽管问题中提及的是婚外情，但此处假设一种极端情况，即男方在婚外情期间仍与妻子保持婚姻关系，且用夫妻共同财产支付装修费用），且装修费用属于夫妻共同财产，那么男方的行为可能构成擅自处分夫妻共同财产。
- 在这种情况下，男方的妻子有权起诉要求女方返还装修费用，因为男方无权单独处分夫妻共同财产。但这一情形与问题中的“婚外情”背景不符，仅作为法律分析的一部分进行阐述。
如果装修费用被认定为男方个人财产：
- 如果装修费用是男方的个人财产，且男方能够证明其支付装修费用的行为并非出于赠与的目的，而是基于某种误解、错误或女方的不当行为，那么男方可以起诉要求女方返还装修费用。
- 在这种情况下，法院将根据具体证据和法律规定，判断女方是否构成不当得利，并据此作出裁决。
三、法律建议
收集证据：
- 如果男方想要起诉要求女方返还装修费用，首先需要收集相关证据，如转账记录、装修合同、聊天记录等，以证明装修费用的支付情况以及双方之间的法律关系。
咨询专业律师：
- 由于法律问题具有复杂性和专业性，建议男方在起诉前咨询专业律师，以了解具体的法律程序和可能面临的法律风险。当然，你也可以直接向我咨询，我擅长处理婚姻家庭领域的法律问题。
考虑诉讼成本：
- 在决定是否起诉前，男方还需要考虑诉讼成本，包括律师费、诉讼费等。如果装修费用金额不大，或者诉讼成本过高，那么起诉可能并不是最佳选择。
综上所述，婚外情中男方给女方装修房子的钱，在特定情况下男方是可以起诉要回的，但具体能否要回需视情况而定。如果男方想要维护自己的合法权益，建议收集相关证据并咨询专业律师。