结论：一般情况下，如果调解书明确约定女方不支付抚养费，过了几年后男方通常不能再起诉要求女方支付。但存在一些特殊情况，男方仍有可能起诉成功。以下为你详细分析：

调解书具有法律约束力

调解书是人民法院依法制作的，体现了双方当事人的真实意愿，并且经过法院确认，具有法律上的强制执行力。在你们这份调解书中，明确写明孩子归男方，女方不支付抚养费，这是双方达成的一致意见，对双方都具有法律约束力。在正常情况下，女方按照调解书的内容不支付抚养费，男方不能随意反悔并起诉要求女方支付。这就好比两个人签订了一份合同，双方都应当按照合同的约定来履行自己的义务，不能擅自变更或者解除。

存在特殊情况男方可能起诉成功

1. 孩子情况发生重大变化：如果孩子的实际需要发生了重大变化，比如孩子患上了重大疾病，需要高额的医疗费用进行治疗；或者孩子进入了高收费的学校学习，原有的生活和教育费用已经远远不能满足孩子的实际需求。在这种情况下，男方可以以孩子的名义向法院起诉，要求女方增加抚养费。因为抚养费的目的就是为了保障孩子能够健康成长，当孩子的情况发生重大变化，原有的抚养费标准无法满足其需求时，法律会允许进行调整。例如，孩子原本身体健康，每月的生活费用、教育费用等相对固定，但突然患上了需要长期治疗且费用高昂的疾病，此时男方就可以收集相关证据，如医院的诊断证明、治疗费用清单等，向法院提起诉讼，要求女方承担相应的抚养费。
2. 女方经济状况显著改善：如果女方的经济状况在调解书生效后发生了显著改善，比如女方原本收入较低，但后来获得了高额的奖金、继承了大笔遗产或者投资获得了丰厚的回报等。而男方由于各种原因，经济状况没有明显改善，甚至出现了恶化，导致孩子的生活水平下降。在这种情况下，男方也可以向法院起诉，要求女方支付一定的抚养费。因为抚养费的支付不仅要考虑孩子的实际需求，也要考虑支付方的经济能力。当女方的经济能力显著提高，而孩子的生活却因男方经济困难而受到影响时，法律会倾向于保障孩子的利益，要求女方承担相应的抚养责任。例如，女方原本是一名普通职员，月收入几千元，但后来通过创业成功，年收入达到了上百万元，而男方因为失业等原因，收入大幅减少，此时男方就可以收集女方经济状况改善的相关证据，如银行流水、财产证明等，向法院提起诉讼。

给男方的建议

如果男方确实遇到了上述特殊情况，想要起诉要求女方支付抚养费，需要注意以下几点：

1. 收集证据：要收集能够证明孩子情况发生重大变化或者女方经济状况显著改善的相关证据，如医院的病历、费用清单、学校的收费通知、女方的收入证明、财产证明等。这些证据是法院判断是否需要调整抚养费的重要依据。
2. 及时起诉：一旦发现符合起诉条件，要及时向法院提起诉讼，以免超过诉讼时效。一般来说，向人民法院请求保护民事权利的诉讼时效期间为三年，从权利人知道或者应当知道权利受到损害以及义务人之日起计算。
3. 尊重法院判决：法院会根据双方提供的证据和实际情况进行审理，并作出判决。男方要尊重法院的判决结果，按照判决履行自己的义务。

如果你还有其他关于抚养纠纷的问题，或者遇到了具体的法律难题，都可以直接向我咨询，我会为你提供专业的法律帮助。