结论前置：口头互换土地20年能否要回，需分情况讨论，关键在于互换行为是否符合法律规定的要件，以及能否提供充分证据证明互换事实。以下从不同角度详细分析：

1. 若互换行为符合农村土地承包经营权互换的法律要件

根据《农村土地承包法》第三十四条，经发包方同意，承包方之间可以互换土地承包经营权。若你们之间的口头互换行为满足以下条件，则互换有效，难以要回：

• 发包方同意：虽然法律未明确要求必须书面同意，但实践中发包方（通常是村委会）的口头同意或事后追认是关键。若能证明发包方知晓并同意互换（如村委会会议记录、相关人员证言），则互换行为合法。
• 实际履行：互换后双方已实际使用对方土地超过20年，且无争议。根据《民法典》及相关司法解释，长期实际履行可视为对口头约定的认可，形成事实上的互换关系。
• 无违反法律强制性规定：如互换土地未改变土地用途（如农业用地转为建设用地），未损害集体或其他成员利益。

证据建议：

• 发包方同意的证据：村委会成员或相关负责人的证言、会议记录、书面同意文件（如有）。
• 实际履行的证据：土地使用记录（如耕种、管理痕迹）、邻居或村民的证言、水电费缴纳记录（若涉及灌溉等）、土地相关补贴领取记录（显示互换后由对方领取）。
• 无争议的证据：过去20年内双方未因土地互换产生纠纷的证明（如村委会调解记录、无诉讼记录）。

2. 若互换行为不符合法律要件或存在瑕疵

若互换行为存在以下情形，可能被认定为无效或可撤销，从而有机会要回土地：

• 发包方未同意：若无法证明发包方同意，互换行为可能因违反《农村土地承包法》的强制性规定而无效。
• 未实际履行或履行存在争议：如双方未实际交换土地，或一方未履行管理、耕种义务，可能构成违约或未形成事实互换关系。
• 存在欺诈、胁迫或显失公平：如一方以欺诈手段使对方同意互换，或互换条件显失公平（如土地价值差异巨大），可能构成可撤销合同。

证据建议：

• 发包方未同意的证据：村委会出具的未同意互换的证明、相关人员的否定性证言。
• 未实际履行的证据：土地现状照片、视频（显示仍由原承包方使用）、耕种记录（显示原承包方持续管理）。
• 欺诈、胁迫或显失公平的证据：沟通记录（如短信、录音）、证人证言（证明对方存在欺诈或胁迫行为）、土地价值评估报告（显示互换价值不对等）。

3. 诉讼时效问题

若互换行为被认定为无效或可撤销，还需考虑诉讼时效：

• 确认合同无效：不受诉讼时效限制，可随时主张。
• 撤销合同：根据《民法典》第一百五十二条，应在知道或应当知道撤销事由之日起一年内行使撤销权。
• 返还土地请求权：若互换行为被撤销或确认无效，返还土地的请求权可能受诉讼时效限制（通常为三年），但若土地一直由对方占有，可能构成持续侵权，诉讼时效从知道或应当知道权利受损之日起计算。

建议：

• 尽快收集证据并咨询律师，评估互换行为的法律效力及证据充分性。
• 若决定主张权利，注意诉讼时效问题，避免因拖延丧失胜诉权。

总结

口头互换土地20年能否要回，需结合互换行为的合法性、实际履行情况及证据充分性综合判断。若互换合法且无争议，难以要回；若存在瑕疵或无效情形，可依法主张权利。建议尽快整理相关证据，并咨询专业律师制定具体方案。如有进一步问题，可直接向我咨询。