结论：能否要回土地，需视具体情况而定，主要取决于土地互换协议的效力、是否办理了确权登记手续以及是否存在法定或约定的解除条件等因素。以下从不同角度进行分析：
一、土地互换协议的效力
有效协议：如果双方最初签订的土地互换协议是真实意思表示，且不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议是有效的。在这种情况下，土地已经按照协议进行了互换，且可能已经实际交付使用，双方应当履行协议约定的义务。如果一方想要要回土地，除非对方同意，否则可能构成违约，需要承担相应的法律责任。
无效或可撤销协议：如果土地互换协议存在无效或可撤销的情形，如一方以欺诈、胁迫的手段订立合同，损害国家利益；或者恶意串通，损害国家、集体或者第三人利益；或者以合法形式掩盖非法目的等，那么该协议可能被认定为无效或可撤销。在这种情况下，一方有权要求确认协议无效或撤销协议，并恢复原状，即要回土地。但需要注意的是，撤销权需要在法定期限内行使，且需要提供充分的证据证明协议存在无效或可撤销的情形。
二、确权登记手续的影响
已办理确权登记：如果土地已经按照互换后的状态办理了确权登记手续，那么土地的使用权已经发生了变更，新的使用权人依法享有土地的使用权。在这种情况下，一方想要要回土地，除非能够证明确权登记存在错误或者存在其他法定事由，否则可能难以实现。
未办理确权登记：如果土地互换后尚未办理确权登记手续，那么土地的使用权仍然属于原使用权人。但需要注意的是，即使未办理确权登记，如果双方已经实际履行了互换协议，且互换行为不违反法律规定，那么一方想要单方面要回土地也可能面临法律障碍。
三、法定或约定的解除条件
法定解除条件：根据《民法典》的相关规定，如果一方严重违约或者存在其他法定解除事由，如不可抗力导致合同目的无法实现等，那么另一方有权解除合同并要求恢复原状。在这种情况下，一方可以依据法律规定要求要回土地。
约定解除条件：如果双方在土地互换协议中约定了解除条件，且该条件已经成就，那么一方可以依据协议约定要求解除合同并要回土地。但需要注意的是，约定解除条件应当合法有效，且不得违反法律、行政法规的强制性规定。
四、建议与措施
协商解决：如果双方能够协商一致，那么可以通过签订补充协议或者解除原协议并重新签订新协议的方式来解决土地纠纷。这种方式成本较低且效率较高。
法律途径：如果协商无果，那么一方可以向人民法院提起诉讼或者向仲裁机构申请仲裁来维护自己的合法权益。在诉讼或仲裁过程中，需要提供充分的证据证明自己的主张成立。
针对您的情况，我建议您先查看双方最初签订的土地互换协议以及后续是否办理了确权登记手续。如果协议有效且已经办理了确权登记手续，那么要回土地可能面临法律障碍。如果协议存在无效或可撤销的情形或者尚未办理确权登记手续，那么您可以考虑通过法律途径来维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。