结论：政府本身没有直接判定土地归属权的权力，土地归属权的判定通常需要通过法律程序，由法院等司法机关来裁决。不过，在特定情况下，政府相关部门（如自然资源部门）的行政处理或行政确认行为可能对土地归属产生一定影响，但这并非最终判定。

详细分析：

1. 政府权力范围：

   • 政府，特别是地方政府及其相关部门，在土地管理方面拥有一定的行政权力，如土地规划、审批、监管等。然而，这些权力主要侧重于土地的管理和利用，而非直接判定土地的归属权。
   • 土地归属权的判定，本质上是一个法律问题，涉及到土地所有权的确认、土地使用权的归属等，这通常需要通过法律程序，由法院等司法机关来裁决。

2. 口头协议与土地归属：

   • 口头协议在法律上虽然具有一定的效力，但在涉及土地等重要财产时，其证明力相对较弱。因为口头协议难以留下确凿的证据，一旦发生纠纷，很难证明协议的具体内容和双方的真实意图。
   • 在您提到的情况下，即使口头协议换地的事实依据摆在面前，但如果对方反悔，且没有书面证据或其他确凿证据支持您的主张，那么仅凭口头协议很难直接确定土地的归属权。

3. 法律程序与土地归属判定：

   • 如果双方无法就土地归属达成一致，通常需要通过法律程序来解决纠纷。这可能包括提起民事诉讼，要求法院确认土地的所有权或使用权归属。
   • 在诉讼过程中，法院会依据相关法律法规和证据材料，对土地归属进行判定。这通常涉及到对土地权属证书、土地使用历史、相关协议（如有）等的审查和分析。

4. 政府行政处理的影响：

   • 在某些情况下，政府相关部门（如自然资源部门）可能会对土地纠纷进行行政处理或行政确认。例如，对土地权属争议进行调解、对土地使用权进行登记确认等。
   • 这些行政处理或行政确认行为虽然可能对土地归属产生一定影响，但它们并非最终判定。如果当事人对行政处理或行政确认结果不服，仍然可以通过法律程序来寻求救济。

建议：

• 如果您面临口头协议换地后对方反悔的情况，建议尽快收集相关证据材料，如证人证言、录音录像、土地使用历史记录等，以支持您的主张。
• 考虑咨询专业律师（即我本人，郑学滨律师，专注于房屋拆迁、土地纠纷等领域），了解具体的法律程序和维权策略。律师可以根据您的具体情况，提供针对性的法律建议和帮助。
• 如果双方无法协商解决纠纷，且证据材料充分，可以考虑提起民事诉讼，要求法院确认土地的所有权或使用权归属。在诉讼过程中，务必遵循法律程序，积极配合法院的审理工作。