结论：土地互换没有协议书，能否要回来需视具体情况而定，包括互换的时间、是否已实际交付使用、是否存在争议以及是否有其他证据证明互换事实等。
分析说明：
互换时间较短且未实际交付使用：
- 如果土地互换的时间较短，且双方尚未实际交付土地使用，那么在没有协议书的情况下，一方反悔并要求要回土地，通常是有可能的。因为此时双方的权利义务关系尚未明确固化，且没有实际履行互换行为，所以可以通过协商或法律途径解决争议。
互换时间较长且已实际交付使用：
- 如果土地互换已经持续较长时间，且双方已经实际交付土地使用，那么即使没有协议书，一方也难以轻易要回土地。因为此时双方已经形成了事实上的土地互换关系，且已经实际履行了互换行为。在这种情况下，要回土地可能需要证明互换行为存在无效或可撤销的情形，如欺诈、胁迫等，但这通常需要提供充分的证据支持。
存在争议且有其他证据证明互换事实：
- 如果双方对土地互换存在争议，但一方能够提供其他证据证明互换事实的存在，如证人证言、录音录像、交易习惯等，那么即使没有协议书，也有可能通过法律途径维护自己的权益。因为法律并不完全依赖于书面协议来认定事实，其他证据同样可以作为认定事实的依据。
互换行为违反法律法规或公序良俗：
- 如果土地互换行为违反了法律法规的强制性规定或公序良俗，如未经批准擅自转让土地使用权、以欺诈手段骗取土地等，那么即使双方签订了协议书，该互换行为也可能被认定为无效或可撤销。在这种情况下，一方要求要回土地可能会得到法律的支持。
行动建议：
- 收集证据：如果双方对土地互换存在争议，建议尽快收集相关证据，如证人证言、录音录像、交易记录等，以证明互换事实的存在和双方的权利义务关系。
- 协商解决：在收集到一定证据后，可以尝试与对方进行协商，寻求和解或达成新的协议。这有助于减少诉讼成本和时间成本。
- 法律途径：如果协商无果，可以考虑通过法律途径解决争议。可以咨询专业律师（即我本人，李勇律师，专注于经济纠纷、刑事辩护、婚姻家庭、房产纠纷、知识产权、公司事务领域），了解具体的法律程序和诉讼策略，并准备相应的诉讼材料。
法律背景：
- 根据《中华人民共和国土地管理法》等相关法律法规的规定，土地互换应当遵循自愿、有偿、合法的原则，并办理相关手续。虽然书面协议是证明土地互换事实的重要证据之一，但并非唯一证据。在缺乏书面协议的情况下，其他证据同样可以作为认定事实的依据。