结论：能否要回土地，取决于协议的具体内容、签订时的真实意思表示、是否存在可撤销或无效的情形，以及是否已发生物权变动等因素。以下从不同角度为您详细分析：
一、协议合法有效且无撤销、无效情形
若协议合法有效：如果双方签订的土地管理协议是真实意思表示，内容合法，且不存在欺诈、胁迫、显失公平等可撤销情形，也不违反法律、行政法规的强制性规定或公序良俗，那么该协议对双方具有法律约束力。在此情况下，您一般不能单方面要求要回土地，因为您已经通过协议将土地的管理权让渡给了对方。
物权变动情况：如果协议中仅涉及土地的管理权，而未涉及土地的所有权或使用权变更，且土地的所有权或使用权仍登记在您名下，那么从物权法的角度来看，土地的所有权或使用权仍属于您。但这并不意味着您可以随意要回土地的管理权，因为您已经通过协议与对方建立了法律关系，需要遵守协议的约定。
二、协议存在可撤销或无效情形
可撤销情形：如果协议是在欺诈、胁迫或显失公平的情况下签订的，您可以在法定期限内（通常为知道或应当知道撤销事由之日起一年内）向法院或仲裁机构申请撤销该协议。一旦协议被撤销，您有权要求对方返还土地的管理权。
无效情形：如果协议违反法律、行政法规的强制性规定或公序良俗，或者双方恶意串通损害国家、集体或第三人利益，那么该协议自始无效。在协议无效的情况下，您也有权要求对方返还土地的管理权，并可能要求对方赔偿因此造成的损失。
三、协议履行过程中的特殊情况
对方违约：如果对方在履行协议过程中存在违约行为，如未按照协议约定管理土地、擅自改变土地用途等，您有权要求对方承担违约责任，并可能根据协议约定或法律规定解除协议，从而要回土地的管理权。
情势变更：如果协议签订后发生了双方在订立合同时无法预见的、非不可抗力造成的不属于商业风险的重大变化，继续履行协议对于您明显不公平或者不能实现合同目的，您可以与对方协商变更或解除协议。如果协商不成，您还可以向法院或仲裁机构申请变更或解除协议。
四、建议与行动
审查协议：首先，建议您仔细审查与对方签订的土地管理协议，了解协议的具体内容、双方的权利义务以及违约责任等条款。
收集证据：如果您认为协议存在可撤销或无效情形，或者对方在履行协议过程中存在违约行为，建议您收集相关证据，如协议文本、沟通记录、照片、视频等，以支持您的主张。
咨询专业律师：由于土地问题涉及复杂的法律关系和法律规定，建议您在采取行动前咨询专业律师的意见。我可以根据您的具体情况提供针对性的法律建议和解决方案。
协商或诉讼：根据律师的建议和您的实际情况，您可以选择与对方协商解决争议，或者通过诉讼、仲裁等法律途径维护自己的合法权益。
最后，我想强调的是，每个案件都有其独特性和复杂性，因此以上分析仅供参考。如果您有具体的法律问题或需要进一步的帮助，请随时向我咨询。