结论：互换土地没有协议且已过去20年，但土地已经确权的情况下，能否要回土地取决于多种因素，包括确权的具体情况、土地的实际使用状况以及相关法律法规的规定。以下从不同角度进行分析：

一、确权的具体情况

1. 确权合法有效：

   • 如果土地确权是合法有效的，即确权过程符合法定程序，确权结果得到了相关部门的认可和登记，那么确权证书通常具有法律效力。
   • 在这种情况下，如果确权证书上明确记载了土地的使用权归属，且该归属与您所主张的不一致，那么您要回土地可能会面临法律上的障碍。

2. 确权存在争议：

   • 如果确权过程存在争议，或者确权结果尚未得到最终确认，那么您有机会通过法律途径提出异议，并争取重新确权。
   • 在这种情况下，您需要收集相关证据，如土地使用历史、相邻关系证明等，以支持您的主张。

二、土地的实际使用状况

1. 长期实际使用：

   • 如果对方已经长期实际使用该土地，并且形成了稳定的使用关系，那么即使土地确权在您名下，对方也可能主张通过时效取得等方式获得土地使用权。
   • 在这种情况下，您需要评估对方实际使用土地的时间、方式以及是否形成了稳定的使用关系等因素，以判断对方的主张是否成立。

2. 未实际使用或使用不当：

   • 如果您能够证明自己并未实际放弃土地使用权，或者对方在使用土地过程中存在不当行为（如破坏土地、改变土地用途等），那么您可能有机会要回土地。
   • 在这种情况下，您需要收集相关证据，如土地现状照片、证人证言等，以支持您的主张。

三、相关法律法规的规定

1. 土地管理法：

   • 根据《中华人民共和国土地管理法》的相关规定，土地使用权的确权、变更和注销等应当依法进行，并办理相关手续。
   • 如果土地确权过程存在违法行为或者确权结果不符合法律规定，那么您有权通过法律途径提出异议并争取重新确权。

2. 民法典相关规定：

   • 根据《中华人民共和国民法典》中关于物权的规定，土地使用权作为一种物权，其设立、变更、转让和消灭应当依法进行。
   • 如果您能够证明自己仍然享有土地使用权，并且对方的行为侵犯了您的物权，那么您有权要求对方停止侵害、恢复原状或者赔偿损失等。

四、建议与行动

1. 收集证据：

   • 无论您选择哪种途径来要回土地，都需要收集相关证据来支持您的主张。这些证据可能包括土地使用历史、相邻关系证明、土地现状照片、证人证言等。

2. 咨询专业律师：

   • 由于土地纠纷涉及复杂的法律关系和证据收集问题，因此建议您咨询专业律师以获取更具体的法律建议和指导。

3. 考虑和解或调解：

   • 在提起诉讼之前，您可以考虑与对方进行和解或调解。通过协商达成一致意见可以节省时间和成本，并避免不必要的法律纠纷。

4. 提起诉讼：

   • 如果和解或调解无果，您可以考虑向法院提起诉讼来维护自己的合法权益。在诉讼过程中，您需要按照法院的要求提交证据、参加庭审等活动，并等待法院的判决结果。

最后，互换土地没有协议且已过去20年但土地已经确权的情况下，能否要回土地取决于多种因素。如果您面临此类问题，请直接向我咨询，我会根据您的具体情况提供更具体的法律建议和指导。