结论：孩子不是他的，但他拒绝将孩子交给你，这一行为是否犯法，取决于你们之间关于孩子抚养权或监护权的约定或法院判决，以及具体情况下的法律适用。以下分情况详细说明：

1. 如果你们之间有明确的抚养权或监护权约定：

   • 协议离婚且抚养权归你：若你们是通过协议离婚，且离婚协议中明确约定孩子由你抚养，那么他拒绝交出孩子的行为可能违反了离婚协议。但需要注意的是，离婚协议本身并不具有直接的强制执行力。若他拒绝履行协议，你需要先向法院提起诉讼，请求确认协议的效力，并在获得法院确认后，再申请强制执行。
   • 法院判决抚养权归你：若你们是通过法院判决离婚，且法院判决中明确孩子由你抚养，那么他拒绝交出孩子的行为就违反了法院的判决。在此情况下，你可以直接向法院申请强制执行，要求他履行判决，交出孩子。

2. 如果你们之间没有明确的抚养权或监护权约定：

   • 在这种情况下，孩子的抚养权或监护权可能需要根据法律规定或实际情况来确定。如果孩子实际上一直由你抚养，且他对此并无异议，那么他突然拒绝交出孩子可能缺乏法律依据。但若他主张自己有权抚养孩子，并拒绝交出，那么这可能引发一场关于抚养权或监护权的争议。在此情况下，你可能需要通过法律途径（如提起诉讼）来解决争议，并由法院根据孩子的最佳利益来作出判决。

3. 关于法律后果：

   • 如果他拒绝交出孩子的行为被法院认定为违法，他可能会面临法律制裁，包括但不限于被强制执行交出孩子、支付罚款或承担其他法律责任。
   • 同时，这种行为也可能对孩子的身心健康造成不良影响。因此，在处理此类争议时，应充分考虑孩子的利益，尽量通过协商、调解等和平方式解决争议。

建议：

• 首先，尝试与他进行协商，了解他拒绝交出孩子的原因，并寻求双方都能接受的解决方案。在协商过程中，保持冷静、理智，并尽量以孩子的利益为出发点。
• 如果协商无果，且你认为自己有权抚养孩子，可以考虑向法院提起诉讼或申请强制执行（如果已有法院判决）。在此过程中，务必收集并保留好相关证据，如离婚协议、法院判决书、孩子的生活照片、视频等，以证明自己的抚养权和对方不履行的义务。
• 如果遇到法律难题或需要专业法律建议，可以直接向我咨询。我会根据你的具体情况，为你提供详细的法律分析和建议。

总之，孩子不是他的，但他拒绝交出孩子的行为是否犯法，取决于你们之间的约定或法院判决以及具体情况下的法律适用。在处理此类争议时，应充分考虑孩子的利益，并尽量通过和平方式解决争议。