结论：一般情况下，若离婚协议或判决中明确抚养权及抚养费归男方，且未约定女方支付抚养费的义务，男方通常不能直接起诉追回前几年的抚养费。但若存在特殊情况，如女方未履行抚养义务且男方实际承担了抚养责任，或双方有明确约定女方需支付抚养费但未履行，男方则可能通过法律途径追索。以下为详细分析：
一、一般情况：无约定则无追索权
在离婚协议或判决中，若明确抚养权及抚养费归男方，且未明确约定女方需支付抚养费，这通常意味着男方已自愿承担抚养子女的全部责任，包括经济上的支持。在此情况下，男方一般不能直接起诉追回前几年的抚养费，因为女方并未被法律明确要求承担这部分费用。
二、特殊情况：可追索抚养费的情形
女方未履行抚养义务，男方实际承担：
- 若女方在离婚后未履行对子女的抚养义务，如未提供生活费、教育费等，而男方实际承担了这些费用，男方可以收集相关证据（如支付凭证、子女生活费用清单等），证明女方未履行抚养义务，并据此向法院提起诉讼，要求女方支付其应承担的抚养费部分。但需注意，这种追索通常针对的是未来应支付的抚养费，而非已经过去的费用，除非能证明女方过去的行为对子女造成了实际损害，且男方已代为承担。
双方有明确约定，女方未履行：
- 若离婚协议或判决中明确约定了女方需支付一定数额的抚养费，但女方未履行该约定，男方可以依据协议或判决向法院提起诉讼，要求女方支付拖欠的抚养费。这种情况下，男方追索的是女方未按约定支付的抚养费，而非无约定情况下的“追回”。
三、法律建议
收集证据：
- 若男方认为女方未履行抚养义务或未按约定支付抚养费，应首先收集相关证据，如支付凭证、子女生活费用清单、离婚协议或判决等，以证明自己的主张。
咨询专业律师：
- 在提起诉讼前，男方应咨询专业律师，了解自己的权利和义务，以及诉讼的可能结果和风险。律师可以根据具体情况提供法律建议，帮助男方制定合适的诉讼策略。
考虑子女利益：
- 在处理抚养费纠纷时，男方应始终将子女的利益放在首位。诉讼可能对子女造成一定的心理影响，因此应尽量通过协商、调解等方式解决纠纷，以减少对子女的伤害。
四、可能的法律后果
- 若男方能够证明女方未履行抚养义务或未按约定支付抚养费，并成功提起诉讼，法院可能会判决女方支付拖欠的抚养费，并可能要求女方承担诉讼费用等额外责任。
- 若男方无法提供充分证据证明自己的主张，或法院认为男方的诉求不合理，法院可能会驳回男方的诉讼请求。
最后，抚养费纠纷涉及子女的切身利益和家庭的和谐稳定，建议男方在处理此类纠纷时保持冷静和理性，通过合法途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。