结论：孩子不是他的，是否可以要求对方退钱，这主要取决于钱款的性质以及双方之间的约定或法律规定。以下从不同角度进行分析：
一、钱款性质为抚养费
若钱款是作为抚养费支付：
- 法律背景：抚养费是父母或其他对未成年人负有抚养义务的人，为未成年人承担的生活、教育等费用。如果男方支付的钱款明确为抚养费，且是基于误认为孩子是自己的亲生子女而支付的，那么从法律上讲，这种支付可能构成无因管理或不当得利（取决于具体情境和法律规定）。
- 法律建议：男方可以尝试与女方协商，要求返还已支付的抚养费。如果协商不成，男方可以向法院提起诉讼，要求女方返还。但需要注意的是，法院在判决时会考虑多种因素，如男方的支付意愿、女方的经济状况、孩子的实际需要等。
- 可能法律后果：如果法院认定女方构成不当得利，可能会判决女方返还部分或全部抚养费。但具体数额和返还方式需由法院根据实际情况判决。
特殊情况：
- 如果男方在支付抚养费时，明知孩子不是自己的亲生子女，但出于某种原因（如情感依赖、社会压力等）仍然选择支付，那么这种情况下，男方可能难以要求返还抚养费，因为这可能被视为男方自愿承担的费用。
二、钱款性质为赠与或借款
若钱款是作为赠与支付：
- 法律背景：赠与是赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。如果男方支付的钱款明确为赠与，且没有附加任何条件（如要求女方返还等），那么这种赠与一旦完成，就具有法律效力，男方通常难以要求返还。
- 法律建议：除非男方能证明赠与行为存在欺诈、胁迫等法定撤销情形，否则难以要求女方返还赠与的钱款。
若钱款是作为借款支付：
- 法律背景：借款是借款人向贷款人借款，到期返还借款并支付利息的行为。如果男方支付的钱款明确为借款，且有书面证据（如借条、转账记录等）证明，那么男方可以要求女方按照约定返还借款。
- 法律建议：男方应收集相关证据，如借条、转账记录等，以证明借款事实的存在。然后，男方可以向法院提起诉讼，要求女方返还借款。
三、其他考虑因素
- 双方关系：如果双方曾经是夫妻或存在其他亲密关系，法院在判决时可能会考虑这种关系对案件的影响。
- 孩子利益：在处理此类案件时，法院通常会优先考虑孩子的利益，确保孩子的合法权益不受损害。
- 证据收集：无论男方选择哪种法律途径，都需要收集充分的证据来支持自己的主张。这包括转账记录、聊天记录、证人证言等。
总结与建议：孩子不是他的，是否可以要求对方退钱，取决于钱款的性质以及双方之间的约定或法律规定。如果钱款是抚养费且男方是基于误认而支付的，可以尝试与女方协商或提起诉讼要求返还；如果钱款是赠与且没有附加条件，则难以要求返还；如果钱款是借款且有书面证据证明，则可以要求女方按照约定返还。在处理此类案件时，建议男方咨询专业律师（即我本人，罗义成律师，专注于婚姻家庭领域），以便更好地维护自己的合法权益。