结论：针对“土地换土地，对方反悔没写协议，人家又要回去”的情况，处理方式主要取决于是否能够证明土地交换的事实以及交换的具体内容。以下是从不同角度给出的详细分析和建议：
一、法律背景与原则
在土地交换问题上，虽然双方没有签订书面协议，但如果能够证明土地交换的事实以及交换的具体内容（如交换的土地位置、面积、交换时间等），仍然有可能维护自己的权益。这主要基于《民法典》中关于民事法律行为效力的规定，即民事法律行为可以基于双方的真实意思表示而成立，不一定要以书面形式为要件。然而，书面协议在证明双方真实意思表示和明确权利义务方面具有更强的证据力。
二、具体处理方式
收集证据：
- 证人证言：寻找当时在场或知晓土地交换情况的证人，请他们出具书面证言或出庭作证。
- 其他证据：如土地交换时的照片、视频、录音等，以及之后双方对土地交换的认可或默认行为（如耕种、管理交换后的土地等）。
协商解决：
- 在收集到一定证据后，可以尝试与对方进行协商，明确双方的权利义务，看是否能够达成一个双方都能接受的解决方案。
法律途径：
- 起诉确认交换效力：如果协商无果，可以向法院提起诉讼，请求确认土地交换的效力。在诉讼过程中，需要充分展示收集到的证据，以证明土地交换的事实和交换的具体内容。
- 注意诉讼时效：根据《民法典》的规定，民事权利的诉讼时效期间一般为三年。因此，在发现对方反悔后，应及时采取行动，以免超过诉讼时效期间而丧失胜诉权。
考虑实际履行情况：
- 如果土地已经实际交换并由一方耕种或管理多年，且对方在此期间未提出异议，这也可以作为证明土地交换事实和交换内容的有力证据。
三、可能面临的法律后果
如果证据充分：
- 法院可能会确认土地交换的效力，驳回对方的反悔请求，从而维护你的权益。
如果证据不足：
- 法院可能无法确认土地交换的效力，此时你可能需要承担返还土地的责任，或者与对方进行进一步的协商以达成解决方案。
四、建议与提醒
增强法律意识：
- 在进行土地交换等重要民事行为时，应尽量签订书面协议，明确双方的权利义务，以避免后续纠纷。
及时咨询律师：
- 如果遇到土地交换纠纷等法律问题，应及时咨询专业律师，了解自己的权益和可能的法律后果，以便采取合适的行动。
保留证据：
- 在日常生活中，应注意保留与重要民事行为相关的证据，如合同、收据、照片、视频等，以备不时之需。
最后，针对你提出的问题，我建议你先尝试收集证据并与对方协商解决。如果协商无果，可以考虑通过法律途径来维护自己的权益。如果你需要进一步的法律帮助或咨询，请随时向我提问。