结论：抚养权归男方但他不管孩子，一般情况下不可以直接以遗弃罪告他，但若其行为符合遗弃罪的构成要件，则可以向公安机关报案，由公安机关立案侦查后，由检察机关提起公诉。

分析如下：

一、遗弃罪的构成要件

遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。其构成要件包括：

1. 主体：必须是负有扶养义务的人，如父母、子女、配偶等。
2. 主观方面：必须是故意，即明知自己有扶养义务而拒绝扶养。
3. 客体：是被扶养人的人身权和婚姻家庭关系。
4. 客观方面：表现为对没有独立生活能力的被扶养人，负有扶养义务而拒绝扶养，情节恶劣的行为。

二、男方不管孩子是否构成遗弃罪

1. 若男方只是暂时不管孩子，但并未完全拒绝扶养：

   • 这种情况下，男方的行为可能并不构成遗弃罪。因为遗弃罪要求的是“拒绝扶养”，即完全放弃扶养义务，而不仅仅是暂时的不管。

2. 若男方长期不管孩子，且完全拒绝扶养：

   • 如果男方长期对孩子不闻不问，不提供生活费、教育费、医疗费等必要费用，也不关心孩子的生活状况，甚至拒绝与孩子见面或联系，且这种行为持续较长时间，导致孩子的生活陷入困境或受到严重影响，那么男方的行为可能构成遗弃罪。

三、如何处理

1. 协商与调解：

   • 首先，可以尝试与男方进行协商，了解其不管孩子的原因，并尝试通过调解的方式解决纠纷。例如，可以邀请亲友、社区工作人员或专业调解机构介入，帮助双方达成抚养协议。

2. 变更抚养权：

   • 如果协商无果，且男方的行为确实对孩子造成了不良影响，可以考虑向法院提起变更抚养权的诉讼。根据《民法典》的相关规定，父母一方有下列情形之一的，人民法院可以判决变更抚养权：
     • 与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
     • 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
     • 已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
     • 有其他正当理由需要变更。

3. 报案与刑事诉讼：

   • 如果男方的行为构成遗弃罪，可以向公安机关报案。公安机关会进行立案侦查，收集证据，如果证据充分，检察机关会提起公诉，由法院进行审判。

建议：在处理此类纠纷时，建议先尝试通过协商和调解的方式解决，以维护家庭关系的和谐。如果协商无果，且男方的行为确实对孩子造成了不良影响，可以考虑通过法律途径解决，包括变更抚养权和报案等。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。