结论：几年之后才发现互换的土地不合规不合法，能否追回取决于多个因素，包括互换土地的具体情况、双方的过错程度、是否已经办理了相关手续以及是否超过了法律规定的诉讼时效等。以下是对这些因素的详细分析：

1. 互换土地的具体情况：

   • 如果互换的土地本身就存在权属争议，或者一方在互换时故意隐瞒了土地的真实情况（如土地已被征收、存在抵押等），那么另一方在发现后有权要求追回土地或寻求相应的法律救济。
   • 如果互换的土地虽然不合规不合法，但双方已经实际履行了互换协议，且没有损害国家、集体或第三人的利益，那么追回土地的难度可能会相对较大。

2. 双方的过错程度：

   • 如果一方在互换土地时存在过错（如故意隐瞒、欺诈等），而另一方无过错或过错较小，那么无过错方在发现互换土地不合规不合法后，有权要求过错方承担相应的法律责任，包括追回土地或赔偿损失。
   • 如果双方都存在过错，那么法院可能会根据双方的过错程度来划分责任，并据此作出相应的判决。

3. 是否已经办理了相关手续：

   • 如果互换土地已经办理了相关的权属变更手续（如土地使用权证的变更等），那么追回土地的难度会相对较大，因为这涉及到行政行为的合法性和有效性问题。
   • 如果尚未办理相关手续，或者办理的手续存在瑕疵，那么另一方在发现后有权要求停止互换行为，并寻求法律救济。

4. 诉讼时效问题：

   • 根据《中华人民共和国民法典》的相关规定，向人民法院请求保护民事权利的诉讼时效期间为三年。如果一方在发现互换土地不合规不合法后，未在诉讼时效期间内提起诉讼或采取其他法律措施，那么可能会丧失追回土地的权利。
   • 然而，如果存在诉讼时效中断、中止等情形，或者一方能够证明自己在诉讼时效期间内一直在积极主张权利，那么诉讼时效可能会重新计算或延长。

建议：

• 如果您发现互换的土地不合规不合法，建议尽快咨询专业律师，了解具体的法律情况和可能的法律后果。
• 律师会根据您的具体情况，分析互换土地的合法性、双方的过错程度、是否已经办理了相关手续以及诉讼时效等问题，并为您提供相应的法律建议。
• 如果可能的话，尽量收集与互换土地相关的证据材料（如互换协议、土地使用权证、相关手续等），以便在后续的法律程序中维护自己的合法权益。

后续行动：

• 在咨询律师后，根据律师的建议采取相应的法律措施，如提起诉讼、申请仲裁或进行协商等。
• 如果需要提起诉讼或申请仲裁，请确保在诉讼时效期间内进行，并准备好相关的证据材料。
• 在整个过程中，保持与律师的密切沟通，及时了解案件的进展情况，并根据律师的建议调整自己的策略。