口头互换土地协议在一定条件下是合法的，但要回已交换的土地需视具体情况而定。以下是对这一问题的详细分析：
口头互换土地协议的合法性
法律依据：
- 根据《中华人民共和国民法典》的相关规定，土地承包经营权人可以依法采取出租、入股或者其他方式向他人流转土地经营权。虽然法律条文未直接提及“互换”，但互换作为土地流转的一种形式，在双方自愿、平等、公平、诚实信用的基础上，且不违反法律、行政法规的强制性规定，不违背公序良俗时，应当是合法的。
- 口头协议在法律上也是被认可的，只要其内容不违反法律、行政法规的强制性规定，且双方当事人具有相应的民事行为能力，意思表示真实，该口头协议即具有法律效力。
实际操作中的注意事项：
- 尽管口头协议合法，但在实际操作中，由于口头协议缺乏书面证据，一旦发生纠纷，举证难度较大。因此，建议双方在互换土地时，尽量签订书面协议，明确互换土地的面积、位置、期限、权利义务等关键条款，以减少纠纷的发生。
- 如果确实只能口头协议，也建议通过录音、录像或寻找见证人等方式，为口头协议留下证据。
要回已交换土地的可能性及方法
协商解决：
- 如果双方对互换土地没有争议，只是由于某种原因（如一方需要土地用于其他用途）希望要回已交换的土地，首先应当尝试通过协商解决。双方可以就互换土地的返还、补偿等事宜进行友好协商，达成一致意见后，可以签订书面协议或补充协议，明确双方的权利义务。
法律途径：
- 如果协商无果，一方坚持要回已交换的土地，而另一方不同意，那么可以通过法律途径解决。此时，需要分析口头互换土地协议的具体情况，包括协议的内容、履行情况、是否存在违约行为等。
- 如果协议存在无效或可撤销的情形：如一方在签订协议时存在欺诈、胁迫等行为，或者协议内容违反法律、行政法规的强制性规定等，那么该协议可能被认定为无效或可撤销。在此情况下，受损害方有权请求人民法院或仲裁机构撤销协议，并要回已交换的土地。
- 如果协议合法有效但一方违约：如一方在协议履行过程中违反约定，不履行或不完全履行协议义务，那么另一方有权要求违约方承担违约责任，包括继续履行协议、赔偿损失等。如果违约行为导致协议无法继续履行，且双方均同意解除协议，那么可以解除协议并要回已交换的土地（但需注意，解除协议后，双方可能需要根据实际情况进行土地返还和补偿等事宜的协商或诉讼）。
- 特殊情况下的土地返还：如果互换土地后，一方因特殊原因（如丧失土地承包经营权）无法继续履行协议，且双方无法就协议变更或解除达成一致意见，那么可能需要根据相关法律法规和政策规定，通过行政程序或诉讼程序解决土地返还问题。
建议与提醒
- 在处理土地互换问题时，建议双方保持冷静和理性，通过友好协商解决纠纷。如果协商无果，再考虑通过法律途径解决。
- 在签订任何土地流转协议时，都应当谨慎对待，尽量签订书面协议并明确关键条款。如果确实只能口头协议，也应当采取措施留下证据以备不时之需。
- 如果遇到复杂的土地纠纷问题，建议及时咨询专业律师以获取更具体的法律建议和帮助。
希望以上分析能对你有所帮助。如果你还有其他问题或需要进一步的法律建议，请随时向我咨询。