一般情况下，养情人的钱难以要回，但在特定情形下存在要回的可能性，以下分情况详细说明：
基于道德层面的考量
从道德和公序良俗的角度来看，这种行为违背了社会的基本道德准则和公序良俗原则。在恋爱关系中，一方为情人花费大量钱财，这种行为本身是不被社会所倡导的。然而，道德层面的谴责并不能直接转化为法律上的权利主张，不能仅仅因为这种行为不道德就当然地认为钱可以要回。
基于法律层面的分析
- 赠与行为：如果一方给情人的钱是以赠与的形式给予的，那么根据《中华人民共和国民法典》中关于赠与合同的规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。一般情况下，赠与合同一旦成立并生效，赠与人就不能随意撤销赠与，要求受赠人返还财产。例如，一方在情人节给情人发520元、1314元等具有特殊含义的红包，或者购买一些小礼物送给情人，这些通常会被认定为赠与行为，赠与人很难要求返还。
- 附条件赠与：但如果赠与行为是附条件的，比如一方明确表示给情人钱财是以维持情人关系为条件，当这种情人关系破裂时，赠与人可以主张撤销赠与，要求返还财产。不过，要证明赠与是附条件的，需要提供充分的证据，如聊天记录、书面协议等，证明双方在赠与时有明确的条件约定。
- 夫妻共同财产问题：如果给情人的钱属于夫妻共同财产，那么情况就会有所不同。根据法律规定，夫妻对共同财产有平等的处理权。一方未经另一方同意，擅自将夫妻共同财产赠与情人，这种行为属于无权处分，侵犯了另一方的财产权益。在这种情况下，另一方可以以侵犯夫妻共同财产权为由，向法院起诉要求情人返还财产。例如，丈夫未经妻子同意，将夫妻共同存款中的几十万元转给情人，妻子发现后可以向情人主张返还这部分钱财。
如果你遇到了类似的情况，有相关的法律问题需要进一步探讨，可以直接向我咨询。