结论：互换土地协议没写书面文件，想要回土地，能否要回需分情况讨论，主要取决于是否存在事实上的互换关系、互换行为是否合法有效以及是否满足解除互换关系的条件等因素。以下为你详细分析：
存在事实互换关系且合法有效，一般不能随意要回
- 事实互换关系的认定
- 虽然没有书面协议，但如果双方已经实际完成了土地的交付使用，并且一方在互换的土地上进行了耕种、建设等实际经营活动，另一方也接受了这种状态，在当地村集体或周围群众中形成了公认的互换事实，那么就可以认定存在事实上的土地互换关系。
- 例如，甲乙两户村民口头约定互换土地，之后甲在乙原来的土地上种植了农作物，乙也在甲原来的土地上进行了耕种，周围村民都知道他们互换了土地，这种情况就构成了事实互换关系。
- 合法有效的情形
- 互换的土地属于同一集体经济组织成员所有，且互换行为经过了该集体经济组织的同意或者符合当地的村规民约。根据相关法律规定，同一集体经济组织成员之间互换土地承包经营权，是法律允许的行为。
- 例如，甲乙都是某村集体经济组织的成员，他们互换的土地都是从该集体经济组织承包而来的，并且互换行为得到了村集体的口头同意，这种互换行为就是合法有效的。
- 不能随意要回的原因
- 在这种情况下，互换行为已经产生了法律效力，双方都应当按照互换后的状态继续履行各自的义务。如果一方想要回土地，就相当于单方面解除互换关系，这需要满足一定的条件，否则可能会构成违约，需要承担相应的法律责任。
存在可解除互换关系的情形，可以要回
- 协商一致解除
- 双方可以就解除互换关系进行协商，如果达成一致意见，那么可以按照协商的结果要回土地。例如，双方因为某些原因都不想再继续互换土地，经过友好协商，签订了一份解除互换关系的协议，明确约定了土地的返还时间和方式等，这种情况下就可以顺利要回土地。
- 存在法定解除事由
- 如果在互换土地后，出现了法律规定的可以解除合同的情形，如因不可抗力致使不能实现互换土地的目的、一方在互换土地过程中存在欺诈、胁迫等行为导致互换行为显失公平等，那么受损方可以请求解除互换关系，要回土地。
- 例如，甲在与乙互换土地时，隐瞒了该土地存在严重质量问题的事实，导致乙在互换后无法正常使用该土地进行耕种，乙就可以以甲存在欺诈行为为由，请求解除互换关系，要回自己原来的土地。
互换行为违法无效，可以要回
- 违法无效的情形
- 如果互换的土地不属于同一集体经济组织成员所有，或者互换行为没有经过该集体经济组织的同意，违反了法律的强制性规定，那么这种互换行为就是违法无效的。
- 例如，甲是非农业户口，乙是某村集体经济组织的成员，甲与乙互换土地，这种互换行为就因为甲不具备农村土地承包经营权主体资格而违法无效。
- 要回土地的方式
- 在互换行为被确认违法无效后，双方应当恢复到互换前的状态，即各自返还互换的土地。如果一方拒绝返还，另一方可以通过向农村土地承包仲裁机构申请仲裁或者向人民法院提起诉讼的方式，要求对方返还土地。
建议：你可以先收集能够证明土地互换事实的证据，如证人证言、土地实际使用情况的照片、视频等，然后与对方进行协商，看是否能够达成一致意见。如果协商不成，你可以根据具体情况，向农村土地承包仲裁机构申请仲裁或者向人民法院提起诉讼，以维护自己的合法权益。如果你还有其他疑问或需要进一步的帮助，随时都可以问我。