结论前置：

1. 若土地互换有书面合同且合法有效，对方反悔要求返还土地，一般不能得到支持。
2. 若土地互换为口头协议，但已实际履行20年，可认定互换合同成立并生效，对方反悔同样难以得到支持。不过，具体还需结合实际情况和证据来判断。

详细分析：

一、土地互换的合法性和有效性确认

1. 书面合同情况：

   • 根据《农村土地承包法》的相关规定，土地承包经营权互换应当签订书面合同，并可以向登记机构申请登记。若您与邻居之间签订了书面合同，且合同内容真实、合法，那么该合同是有效的。即使未进行登记，也仅在双方当事人之间产生法律效力，不影响合同的成立和生效。
   • 在此情况下，若邻居反悔想要回土地，您有权依据合同拒绝，并可以通过法律途径维护自己的合法权益。

2. 口头协议情况：

   • 虽然法律要求土地承包经营权互换应签订书面合同，但在现实中，由于各种原因，可能存在口头约定的情况。根据相关司法解释，若一方已经履行了主要义务，且对方接受，则合同成立。
   • 在您的情况下，若双方已经实际履行了互换行为20年，且在这期间没有争议，那么可以认定互换合同已经成立并生效。此时，邻居反悔想要回土地，同样难以得到法律的支持。

二、纠纷解决途径

1. 与对方协商解决：

   • 在面对邻居反悔的情况时，首先可以尝试与对方进行协商，了解对方反悔的具体原因。
   • 通过摆事实、讲道理，强调互换行为的合法性和有效性，以及双方长期履行的实际情况，争取友好协商，达成一致意见。
   • 如有必要，可以重新签订协议，明确双方的权利和义务，以避免后续纠纷。

2. 寻求第三方调解：

   • 若协商不成，可以请求村委会等村集体组织进行调解。村集体组织在农村地区具有较高的权威性和公信力，其调解结果往往更容易被双方接受。
   • 若村集体调解不成，还可以向乡镇政府相关部门申请调解，以获取更专业的法律和政策指导。

3. 申请仲裁或提起诉讼：

   • 若双方有仲裁条款或达成仲裁协议，可以向农村土地承包仲裁机构申请仲裁。仲裁裁决具有法律效力，双方需履行。
   • 若无仲裁协议，可以直接向有管辖权的人民法院提起诉讼。在诉讼过程中，需准备充分证据，如互换合同（书面或口头协议的证据）、证人证言、土地使用情况等，以证明互换行为的合法性和有效性。
   • 法院将依法判决，若您胜诉，可以申请强制执行，以维护自己的合法权益。

三、特别注意事项

1. 口头协议的效力：

   • 虽然口头协议在一定条件下有效，但书面协议更具说服力。为避免后续纠纷，建议尽量签订书面互换协议，并明确双方的权利和义务。

2. 实际损失与违约金：

   • 在处理纠纷时，还需考虑实际损失与违约金的关系。若合同约定的违约金低于实际损失，可以请求人民法院或仲裁机构增加。
   • 同时，违约金数额不得超过违约一方订立合同时预见到的可能损失，以避免过高或过低的违约金导致不公平的结果。

后续行动建议：

• 在处理此类纠纷时，务必保留好相关证据材料，如互换合同、证人证言、土地使用情况等，以确保自己的合法权益得到有效维护。
• 若对法律程序不熟悉或担心处理不当，可以随时向我咨询，我将根据您的具体情况提供专业的法律建议和帮助。