针对您提出的“口头协议互换土地甲方建房20多年后乙方反悔该怎么办”的问题，以下是我的详细解答：

1. 确认口头协议的效力

   • 虽然《农村土地承包法》规定土地承包经营权互换应签订书面合同，但根据相关司法解释，若双方已实际履行互换行为多年（如本案中的20年），且各自在互换后的土地上进行了耕种、管理等经营活动，可认定互换关系成立并有效。因此，您与乙方之间的口头协议，在双方已实际履行的情况下，是具有法律效力的。

2. 处理步骤与建议

   • 与乙方协商解决：首先，您可以尝试与乙方进行友好沟通，了解其反悔的具体原因。通过摆事实、讲道理，强调互换行为的合法性和有效性，以及双方长期履行的实际情况，争取达成一致意见。如有必要，可以重新签订一份书面协议，明确双方的权利和义务，以避免后续纠纷。
   • 寻求第三方调解：若协商不成，您可以请求村委会等村集体组织或乡镇政府相关部门进行调解。这些机构具有权威性和公信力，能够利用其基层工作经验和公正立场来化解矛盾，促成双方和解。
   • 申请仲裁或提起诉讼：若调解仍无法解决问题，您可以考虑申请仲裁或提起诉讼。若双方有仲裁条款或达成仲裁协议，可向农村土地承包仲裁机构申请仲裁；若无仲裁协议，则可直接向有管辖权的人民法院提起诉讼。在诉讼过程中，您需要准备充分证据，如互换协议（虽为口头，但可提供证人证言等辅助证据）、土地使用情况、建房证明等，以证明互换事实及合法性。

3. 特别注意事项

   • 保留证据：在整个处理过程中，务必保留好相关证据材料，如互换时的证人证言、土地使用记录、建房相关手续等。这些证据将对您维护自己的合法权益至关重要。
   • 考虑实际损失与违约金：若乙方反悔给您造成了实际损失，您可以在协商或诉讼过程中要求乙方进行赔偿。同时，若合同（或口头协议）中约定了违约金条款，且违约金数额合理，您也可以要求乙方支付违约金。但需注意，违约金数额不得超过违约一方订立合同时预见到的可能损失。
   • 避免过激行为：在处理纠纷过程中，请保持冷静和理性，避免采取过激行为导致矛盾激化。通过合法途径解决问题，是维护自己权益的最佳方式。

4. 法律后果预测

   • 若法院或仲裁机构认定互换协议有效且无可撤销情形，且已超过诉讼时效（一般诉讼时效为三年，最长诉讼时效为二十年），则法院或仲裁机构倾向于维持现状，驳回乙方的反悔诉求，确认互换行为继续有效。
   • 若经审查认定互换协议存在无效情形（如主体资格不符、程序不合法等），则双方应互相返还土地。因无效协议给对方造成损失的，有过错方应承担赔偿责任；双方都有过错的，各自承担相应责任。但在此案中，由于双方已实际履行互换行为20年，这种情况发生的可能性较小。

综上所述，面对乙方反悔的情况，您应首先确认互换协议的合法性和有效性，然后依次尝试协商解决、第三方调解、仲裁或诉讼等途径来维护自己的合法权益。在整个过程中，务必保留好相关证据材料，并保持冷静和理性。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。