结论：包养的钱能否退回来，需根据具体情况判断，主要取决于金钱的性质、是否涉及夫妻共同财产以及是否存在违法行为。以下从不同角度进行分析：
一、金钱给付的性质与追回可能性
赠与性质：
- 一般情况：若包养者基于包养关系自愿给予被包养者财物，且该赠与已经完成，即财物已交付给被包养者，根据《民法典》关于赠与合同的规定，赠与财产的权利转移后，赠与人通常不能撤销赠与。例如，男方给女方购买了贵重首饰并已交付，这种情况下，男方一般无法要求女方返还。
- 特殊情况：但若赠与人的赠与行为严重影响其生产经营或家庭生活，如因赠与导致自己生活陷入严重困境，根据《民法典》的相关规定，赠与人有权在一定条件下向法院起诉要求撤销赠与并追回财物。不过，这种情况在包养关系中较为少见，且需要赠与人提供充分的证据证明其生活陷入严重困境。
借贷性质：
- 如果包养者给被包养者的钱属于借贷关系，且有充分证据（如借条、借款协议、聊天记录、转账备注等）证明双方有借贷的合意，那么包养者有权要求被包养者按照约定偿还借款。即使双方存在不正当关系，也不影响合法借贷关系的成立，包养者可通过法律途径主张债权。例如，男方给女方转账时备注了“借款”，且有聊天记录证明双方存在借贷关系，这种情况下，男方可以要求女方返还借款。
其他性质：
- 如果金钱给付并非以赠与或借贷形式，而是基于其他法律关系（如投资、合作等），则能否追回需根据具体法律关系和相关证据来判断。不过，在包养关系中，这种性质的钱款给付较为少见。
二、涉及夫妻共同财产的情况
如果包养者用于包养的钱财属于夫妻共同财产，其配偶有权要求追回。夫妻对共同财产有平等的处理权，一方未经另一方同意将大量夫妻共同财产用于不合理用途（如包养情人），损害了配偶的权益。配偶可以侵犯夫妻共同财产权为由，向法院起诉要求被包养者返还财物，法院通常会支持合理诉求。例如，男方未经妻子同意，将夫妻共同财产用于包养情人，妻子发现后可以向法院起诉要求情人返还财物。
三、违法行为的处理
如果包养行为本身违反法律法规，如涉及卖淫嫖娼等违法行为，根据《中华人民共和国治安管理处罚法》的相关规定，将受到相应的行政处罚。在这种情况下，包养的钱作为违法所得，可能会被依法追缴。不过，这种情况下的钱款追缴通常是由公安机关等执法部门进行，而不是通过民事诉讼途径。
四、实际建议
- 保留证据：如果涉及钱款纠纷，建议保留好相关证据，如转账记录、聊天记录、赠与凭证等，以便在需要时证明自己的主张。
- 咨询律师：面对此类复杂问题，建议直接向我咨询，我会根据具体情况为你提供准确的法律意见和诉讼策略。
- 遵守法律：无论结果如何，都应遵守法律法规和社会道德规范，避免参与不道德或非法的行为。
综上所述，包养的钱能否退回来需根据具体情况判断。在处理此类问题时，应充分了解相关法律法规和具体案情，以确保自身权益得到妥善维护。如果你有具体的法律问题或需要进一步的帮助，请直接向我咨询。