结论是：您是有可能将土地要回来的，但具体能否成功要回，取决于多个因素，包括协议的具体内容、邻居办理房产证的过程是否合法合规，以及您能否提供充分的证据来支持自己的主张等。以下是从不同角度进行的分析：
一、协议的法律效力
书面协议的重要性：您与邻居之间签订了关于土地借用的书面协议，这是非常重要的证据。该协议应明确双方的权利和义务，包括土地的使用期限、使用方式、是否允许在土地上建造建筑物等。如果协议中明确规定了土地的使用性质和限制，且邻居的行为违反了这些规定，那么您就有权依据协议要求邻居恢复原状或赔偿损失。
协议内容的审查：您需要仔细审查协议内容，特别是关于土地使用权限和禁止性行为的条款。如果协议中明确禁止邻居在土地上建造建筑物或办理房产证，那么邻居的行为就构成了违约，您有权要求其承担相应的法律责任。
二、邻居办理房产证的合法性
办理房产证的程序：邻居要办理房产证，必须符合相关的法律程序和条件。这通常包括拥有合法的土地使用权、符合规划要求、通过相关部门的审批等。如果邻居在办理房产证的过程中存在违法行为，如伪造文件、贿赂官员等，那么其办理的房产证可能是无效的。
土地使用权的归属：根据相关法律法规，土地使用权的归属是办理房产证的前提条件。如果邻居没有合法的土地使用权，或者其土地使用权是通过非法手段获得的，那么其办理的房产证也是无效的。您需要查明邻居办理房产证时所依据的土地使用权来源是否合法。
三、您的维权途径
协商解决：您可以首先尝试与邻居进行协商，要求其停止侵权行为并恢复原状。如果邻居同意，那么问题可能得到迅速解决。
行政投诉：如果协商无果，您可以向当地的土地管理部门或房地产管理部门进行投诉，要求相关部门对邻居的违法行为进行调查和处理。如果相关部门认定邻居的房产证办理过程存在违法行为，那么可能会撤销其房产证或采取其他行政措施。
法律诉讼：如果行政投诉也无法解决问题，您可以考虑通过法律途径来维护自己的权益。您可以向法院提起诉讼，要求邻居停止侵权行为、恢复原状并赔偿损失。在诉讼过程中，您需要提供充分的证据来支持自己的主张，如书面协议、土地使用权证明、邻居办理房产证的相关文件等。
四、可能面临的挑战
证据收集：在维权过程中，证据的收集是非常关键的。您需要收集能够证明邻居违法行为和您权益受损的证据，如书面协议、照片、视频、证人证言等。如果证据不足或无法证明邻居的违法行为，那么您的维权可能会面临困难。
法律程序：法律诉讼是一个复杂而漫长的过程，需要您投入大量的时间和精力。您需要了解相关的法律程序和规定，并准备好应对可能出现的各种情况。
建议您在采取任何行动之前，先咨询专业的法律意见，以便更好地了解自己的权益和维权途径。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。