结论：被“小三”后，之前对方花的钱是否需要退回，需根据具体情况判断，不能一概而论。以下从不同角度为您详细分析：
一、若钱财因不正当关系获得，可能需退回
在婚姻关系存续期间，夫妻双方对共同财产享有平等的处理权。若男方为维系与“小三”的不正当关系，擅自将大额夫妻共同财产赠与“小三”，这种赠与行为不仅损害了配偶的财产权益，还违背了公序良俗。根据相关法律规定和司法实践，该赠与行为通常会被认定为无效。此时，受损方配偶有权向法院提起诉讼，要求确认赠与行为无效，并要求“小三”返还钱财。
举例：假设男方在婚姻关系存续期间，未经配偶同意，将夫妻共同存款中的10万元赠与“小三”。配偶发现后，可以向法院起诉，要求确认该赠与行为无效，并要求“小三”返还这10万元。
二、若钱财是男方自愿赠与且无特定约定或限制条件，追回较为困难
如果男方赠与“小三”的钱财是其个人财产，且赠与行为是男方真实意愿的表达，没有违反法律法规或公序良俗，同时也没有明确约定用于特定目的或有其他限制条件，那么要追回这些钱财就会较为艰难。因为在此情况下，赠与行为可能被视为合法有效，受赠人“小三”有权保留这些钱财。
举例：男方在婚前有一笔个人存款，婚后他自愿将这笔存款中的5万元赠与“小三”，且没有与“小三”约定任何特定用途或限制条件。此时，如果男方或其配偶想要追回这5万元，可能会面临较大的法律障碍。
三、特殊情形下的处理
对于一些具有特殊纪念意义的小额赠与：如男方为“小三”购买的生日礼物、节日礼物等，这些赠与可能被视为男方对“小三”的个人情感表达，且金额相对较小。在这种情况下，即使赠与行为发生在婚姻关系存续期间，也可能不会被认定为无效，受赠人“小三”无需退回。
若赠与的财产涉及第三方权益：如赠与的财产是男方与他人共有的财产，或者赠与行为涉及其他法律关系（如借贷关系、担保关系等），那么处理起来就会更加复杂。此时，需要综合考虑各种法律关系和权益，以确定赠与行为是否有效以及是否需要退回。
建议：如果您遇到了被“小三”后对方要求退回钱财的情况，建议您先收集相关证据（如赠与合同、转账记录、聊天记录等），然后咨询专业律师进行具体分析。律师会根据您的具体情况和法律规定，为您提供合理的法律建议和解决方案。
最后，我想强调的是，法律问题往往涉及复杂的法律关系和权益，因此不能简单地根据一般原则或经验来判断。如果您有任何法律问题或疑虑，都可以直接向我咨询，我会尽我所能为您提供专业、全面的法律服务。