结论前置：

1. 若双方有约定或法律有规定男方需支付抚养费：男方可以起诉要求女方返还前两年的抚养费。
2. 若双方无约定且法律无特别规定：一般情况下，男方难以直接起诉要求返还前两年的抚养费，但可通过协商或其他法律途径解决。

详细分析：

首先，我们需要明确抚养费的基本性质。抚养费是父母或其他负有抚养义务的人为未成年人承担的生活、教育等费用。在婚姻关系存续期间或离婚后，父母双方都有义务为子女提供必要的抚养费。

针对您提出的问题，我们分两种情况来讨论：

情况一：双方有约定或法律有规定男方需支付抚养费

• 如果在离婚协议、法院判决或双方其他书面约定中，明确规定了男方需要支付抚养费，并且女方在这两年内实际上承担了抚养孩子的费用，而男方未支付，那么男方在理论上是可以起诉要求女方返还这部分费用的。但这种情况较为特殊，因为通常抚养费是直接支付给抚养孩子的一方，而不是先支付再返还。不过，如果存在如男方误将抚养费支付给女方，而女方未用于孩子抚养等特殊情况，男方可能有权要求返还。
• 另外，如果法律有特别规定，在某些特定情况下（如男方因特殊原因无法直接抚养孩子，但法律又规定其需承担抚养费），男方也可能有权要求返还其已支付但未实际用于孩子抚养的费用。但这种情况同样较为罕见。

情况二：双方无约定且法律无特别规定

• 在大多数情况下，如果双方没有明确的约定，且法律也没有特别规定男方需支付抚养费给女方（而是直接规定父母双方需共同承担抚养责任），那么男方难以直接起诉要求女方返还前两年的抚养费。因为在这两年内，女方作为实际抚养人，已经为孩子提供了必要的生活和教育条件，这部分费用可以视为女方对孩子的正常抚养投入。
• 然而，如果男方认为女方在这两年内未尽到抚养义务，或者认为女方将抚养费用于了其他非孩子抚养的目的，男方可以通过协商、调解或诉讼等方式，要求女方承担相应的责任或返还部分费用。但这种情况下，男方需要提供充分的证据来证明其主张。

法律建议：

• 如果您希望要回前两年的抚养费，建议您首先与女方进行协商，看是否能够达成一致意见。
• 如果协商无果，您可以考虑通过法律途径解决。但在此之前，请务必收集好相关证据，如离婚协议、法院判决、支付凭证、孩子生活和教育费用的相关记录等。
• 鉴于抚养费问题的复杂性，建议您在起诉前咨询专业律师，以获取更具体的法律建议和指导。

最后，需要强调的是，每个案件都有其独特性和复杂性，因此上述分析仅供参考。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。