结论：土地互换并收取了相应赔偿后，一般情况下不能随意要回，但具体能否要回需视互换协议的效力、履行情况以及是否存在法定或约定的解除事由等因素而定。以下从不同角度为您详细分析：

一、互换协议的效力

1. 有效协议：如果土地互换协议是双方真实意思表示，且不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议是有效的。在协议有效的情况下，双方应当按照协议约定履行各自的义务，包括土地的交付和赔偿的支付。一旦协议履行完毕，即土地已经交付且赔偿已经支付，除非存在法定或约定的解除事由，否则一方不能随意要求要回土地。

2. 无效协议：如果土地互换协议存在无效情形，如一方以欺诈、胁迫的手段订立合同，损害国家利益；或者恶意串通，损害国家、集体或者第三人利益；或者以合法形式掩盖非法目的等，那么该协议自始无效。在协议无效的情况下，双方应当恢复原状，即土地应当返还给原权利人，赔偿也应当根据实际情况进行返还或调整。但需要注意的是，如果一方已经基于无效协议取得了财产利益，且该利益无法返还或者没有必要返还的，应当折价补偿。

二、互换协议的履行情况

1. 已履行完毕：如果土地互换协议已经履行完毕，即土地已经交付且赔偿已经支付，且不存在法定或约定的解除事由，那么一方不能随意要求要回土地。因为此时双方的权利义务已经终止，再要求要回土地缺乏法律依据。

2. 未履行完毕或存在履行障碍：如果土地互换协议尚未履行完毕或者存在履行障碍，如一方未按照协议约定交付土地或支付赔偿等，那么另一方有权要求对方继续履行协议或者承担违约责任。在协议未履行完毕或存在履行障碍的情况下，一方要求要回土地可能涉及协议的解除或变更问题，需要依据相关法律法规和协议约定进行处理。

三、法定或约定的解除事由

1. 法定解除事由：根据《民法典》等相关法律法规的规定，如果土地互换协议在履行过程中出现了法定解除事由，如因不可抗力致使不能实现合同目的、在履行期限届满前一方明确表示或者以自己的行为表明不履行主要债务等，那么一方有权解除协议并要求要回土地（或要求对方承担违约责任）。但需要注意的是，法定解除事由的适用需要严格符合法律法规的规定。

2. 约定解除事由：如果土地互换协议中约定了解除事由，且该事由已经发生或者具备发生的条件，那么一方有权依据协议约定解除协议并要求要回土地（或要求对方承担违约责任）。约定解除事由的适用需要依据协议的具体约定进行处理。

法律建议

1. 审查互换协议：首先，您需要仔细审查土地互换协议的内容，包括协议的效力、履行情况以及是否存在法定或约定的解除事由等。

2. 协商解决：如果可能的话，您可以尝试与对方进行协商，看是否能够达成一致意见并解决问题。协商解决是最快捷、最经济的方式。

3. 寻求法律帮助：如果协商无果或者您对协议的内容、效力等存在疑问，建议您及时咨询专业律师（即我）的意见。我可以根据您的具体情况提供针对性的法律建议和帮助。

4. 注意证据收集：在处理土地互换纠纷时，证据的收集非常重要。您需要收集并保存好与土地互换相关的所有证据材料，如协议文本、支付凭证、土地权属证明等。这些证据材料将有助于您维护自己的合法权益。