结论：婚外情女方回归家庭后，男方要回花的钱是否违法，需根据具体情况判断，一般而言，若为自愿赠与且无违法情形，男方难以要回；若存在特殊情形，如大额财产赠与、以结婚为目的的赠与或涉及违法犯罪所得，则可能可以要回。

分析说明：

1. 自愿赠与且无违法情形：

   • 在婚外情关系中，如果男方自愿给女方花钱，且这些花费属于日常小额赠与或消费，如购买礼物、共同旅游等，这些通常被视为男方对女方的自愿赠与。
   • 根据《民法典》的相关规定，赠与合同一旦成立并生效，除非存在法定撤销情形，否则赠与人不得随意撤销赠与。因此，在这种情况下，男方难以要回这些花费。

2. 存在特殊情形的赠与：

   • 大额财产赠与：如果男方给女方的花费涉及大额财产，如房产、车辆等，且这些财产是以结婚为目的或附条件的赠与，那么在女方未履行相应义务或条件未成就的情况下，男方可能有权要求返还。但这种情况需要具体证据支持，且法院会根据实际情况进行判断。
   • 以结婚为目的的赠与：若男方在赠与财产时明确表示或可以推断出是以结婚为目的，而女方最终未与男方结婚，那么男方可能有权要求返还赠与的财产。这同样需要具体证据来证明男方的赠与目的。
   • 涉及违法犯罪所得：如果男方给女方的花费涉及违法犯罪所得，如贪污、受贿等非法所得，那么这些财产不仅可能被追缴，而且男方和女方都可能面临法律责任。在这种情况下，男方当然无法要回这些非法所得。

行动建议：

• 收集证据：如果男方认为有权要回花费，应首先收集相关证据，如转账记录、聊天记录、赠与合同等，以证明赠与的存在、金额以及可能的赠与目的。
• 协商解决：在收集到足够证据后，男方可以尝试与女方进行协商，看是否能够达成一致意见，和平解决纠纷。
• 法律途径：如果协商无果，男方可以考虑通过法律途径来维护自己的权益。这包括向法院提起诉讼，要求女方返还赠与的财产。但需要注意的是，法律诉讼需要时间和成本，且结果具有不确定性。

后续思考：

• 在处理此类纠纷时，应充分考虑双方的实际情况和感情因素，尽量通过协商和调解来解决问题，以减少对双方的伤害和损失。
• 同时，也应提醒人们在处理感情和财产问题时保持理性和谨慎，避免因为一时冲动而做出错误的决定。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。