孩子可以合法继承男方的遗产。以下是详细分析：

1. 法定继承权的依据
   根据《中华人民共和国民法典》第一千一百二十七条，子女属于第一顺序法定继承人，包括婚生子女、非婚生子女、养子女和有抚养关系的继子女。即使离婚协议中约定孩子归对方抚养，孩子与男方的亲子关系并不因此消除，因此孩子仍享有法定继承权。

2. 离婚协议不影响继承权
   离婚协议主要解决夫妻双方的财产分割和子女抚养问题，其约定仅对夫妻双方具有约束力，不涉及子女对父母遗产的继承权。除非男方在遗嘱中明确排除孩子的继承权，否则孩子仍有权继承。

3. 特殊情况：遗嘱继承
   如果男方生前立有合法有效的遗嘱，且遗嘱中明确指定其他继承人或排除孩子的继承权，则需按照遗嘱执行。但遗嘱必须符合《民法典》第一千一百三十四条至第一千一百四十四条的规定，否则可能被认定为无效。

4. 继承份额的确定
   在法定继承中，同一顺序继承人一般均等分配遗产。如果男方有其他第一顺序继承人（如配偶、父母），孩子将与其他继承人共同分配遗产；如果男方无其他第一顺序继承人，孩子将继承全部遗产。

建议：

• 如果男方去世后，其他继承人对孩子的继承权提出异议，可通过协商或诉讼解决；
  
• 为避免纠纷，男方可在生前通过遗嘱明确遗产分配意愿，但需确保遗嘱合法有效；
  
• 如有复杂情况（如再婚、收养等），建议进一步梳理家庭关系后具体分析。
  

如有其他疑问，欢迎继续向我咨询。