结论：男人养私生子的钱，在特定情况下是可以要回的，但并非所有情况下都能成功追回，这主要取决于款项的性质、支付时间以及是否侵犯了合法配偶的财产权益等因素。
分析说明：
款项性质与支付时间：
- 如果男人在婚姻关系存续期间，未经合法配偶同意，擅自将夫妻共同财产用于支付私生子的抚养费，这可能构成对夫妻共同财产的侵犯。在此情况下，合法配偶有权向法院提起诉讼，要求返还这部分财产。
- 如果男人使用的是个人财产（如婚前财产或婚后明确约定为个人所有的财产）来支付私生子的抚养费，那么这部分财产通常不属于夫妻共同财产，合法配偶可能难以直接要求返还。但若该支付行为对合法配偶造成了经济损失或精神损害，合法配偶仍可能通过其他法律途径寻求救济。
是否侵犯合法配偶的财产权益：
- 根据《中华人民共和国民法典》的相关规定，夫妻对共同财产享有平等的处理权。如果男人擅自将夫妻共同财产用于支付私生子的抚养费，且未经合法配偶同意，这可能构成对合法配偶财产权益的侵犯。在此情况下，合法配偶有权要求返还这部分财产。
- 需要注意的是，即使男人使用的是个人财产，但如果其支付行为导致家庭经济困难或影响了合法配偶的生活质量，合法配偶仍可能通过协商、调解或诉讼等方式寻求合理的解决方案。
法律程序与证据收集：
- 如果合法配偶决定要求返还男人用于支付私生子抚养费的财产，通常需要通过法律程序来实现。这可能包括向法院提起诉讼、申请财产保全等措施。
- 在诉讼过程中，合法配偶需要收集充分的证据来证明男人擅自使用了夫妻共同财产或侵犯了其财产权益。这些证据可能包括银行转账记录、支付凭证、聊天记录等。
特殊场景：
- 如果男人与私生子的母亲之间存在明确的抚养协议或法律文书（如离婚协议、判决书等），且该协议或文书中规定了抚养费的支付方式和金额，那么男人按照协议或文书支付抚养费的行为可能被视为合法支付。在此情况下，合法配偶可能难以直接要求返还这部分财产。
- 如果男人在支付私生子抚养费的同时，也承担了其他家庭开支或债务，且这些开支或债务与支付抚养费的行为存在关联或冲突，那么情况可能更加复杂。在此情况下，需要综合考虑各种因素来确定男人是否应返还部分或全部财产。
后续行动建议：
- 如果你作为合法配偶，发现男人擅自使用了夫妻共同财产来支付私生子的抚养费，建议首先与男人进行沟通协商，尝试达成和解协议。
- 如果沟通协商无果，你可以考虑向法院提起诉讼，要求返还这部分财产。在诉讼过程中，务必收集充分的证据来支持你的主张。
- 如果你对法律程序不熟悉或担心自己的权益无法得到充分保障，可以寻求专业律师的帮助。我可以为你提供专业的法律咨询和代理服务，帮助你维护自己的合法权益。
相关法条：
- 《中华人民共和国民法典》第一千零六十二条：夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：（一）工资、奖金、劳务报酬；（二）生产、经营、投资的收益；（三）知识产权的收益；（四）继承或者受赠的财产，但是本法第一千零六十三条第三项规定的除外；（五）其他应当归共同所有的财产。夫妻对共同财产，有平等的处理权。
- 《中华人民共和国民法典》第一千零九十二条：夫妻一方隐藏、转移、变卖、毁损、挥霍夫妻共同财产，或者伪造夫妻共同债务企图侵占另一方财产的，在离婚分割夫妻共同财产时，对该方可以少分或者不分。离婚后，另一方发现有上述行为的，可以向人民法院提起诉讼，请求再次分割夫妻共同财产。