结论：对方是否有权要回互换的土地，取决于多个因素，包括但不限于口头协议的具体内容、双方的实际履行情况、以及是否存在确权或相关法律手续等。在大多数情况下，如果缺乏确权手续或书面协议，仅凭口头协议互换土地，对方可能在一定程度上有权主张要回土地，但具体还需根据实际情况和法律规定来判断。

分析：

1. 口头协议的法律效力：

   • 口头协议在法律上通常具有一定的效力，但相较于书面协议，其证明难度较大，且在发生纠纷时，口头协议的内容往往难以准确还原。
   • 在土地互换这类涉及重大财产权益的交易中，仅凭口头协议可能不足以充分保障双方的权益。

2. 土地确权的重要性：

   • 土地确权是明确土地权属的关键步骤，它有助于确认土地的使用权、所有权等权益归属。
   • 如果土地未经确权，那么其权属状态可能存在不确定性，这增加了土地被主张要回的风险。

3. 实际履行情况的影响：

   • 如果双方已经按照口头协议实际履行了多年，且没有发生争议，那么这在一定程度上可以视为双方对口头协议的认可。
   • 然而，如果一方突然主张要回土地，且没有合理的理由或证据支持其主张，那么其主张可能难以得到法律的支持。

4. 中间人的角色与责任：

   • 中间人在此类交易中可能起到见证或协调的作用，但其并不具备决定土地权属的法律效力。
   • 中间人关于“对方可以随时要回”的说法，可能只是其个人观点或理解，并不构成法律上的有效约定。

5. 法律建议：

   • 鉴于口头协议的不确定性和土地权属的重要性，建议双方尽快补办相关法律手续，如签订书面协议、办理土地确权等。
   • 如果发生纠纷，应首先尝试通过协商解决；协商无果的，可以寻求法律途径解决，如提起民事诉讼等。

后续行动建议：

• 如果您或对方希望正式确认土地互换的有效性，建议尽快咨询专业律师，了解补办相关法律手续的具体流程和要求。
• 在处理此类纠纷时，务必保留好所有相关证据，如交易记录、支付凭证、证人证言等，以便在需要时提供证明。

如有任何进一步的问题或需要具体的法律帮助，请直接向我咨询。