结论：没有租地协议并不意味着可以直接清除种植物，是否可以清除需根据具体情况判断，包括土地使用权的归属、种植物的所有权以及是否存在其他约定或事实行为等。
分析如下：
土地使用权归属：
- 如果土地使用权明确归属于出租方（即土地所有者或合法使用者），且承租方未经允许擅自种植，那么出租方在理论上可能有权要求承租方清除种植物或自行清除，但这也需要依据具体法律法规和当地政策来判断，并且通常应通过合法途径解决，如协商、调解或诉讼，而非直接自行清除。
- 如果土地使用权存在争议或不明确，那么清除种植物的行为可能引发更大的法律纠纷。
种植物所有权：
- 种植物的所有权通常归属于种植者，即承租方（如果其有权种植）。因此，即使没有租地协议，出租方也不能随意清除承租方种植的作物，除非能证明承租方的种植行为违法或侵犯了其合法权益。
存在其他约定或事实行为：
- 双方可能虽然没有签订书面的租地协议，但可能存在口头约定或其他事实行为（如长期的使用习惯、支付租金的行为等），这些也可能构成双方之间的租赁关系或使用许可关系。在这种情况下，清除种植物的行为同样需要谨慎处理，以免违反约定或侵犯对方权益。
法律建议：
- 协商解决：首先，建议双方通过协商来解决争议。可以就土地的使用、种植物的归属以及清除等问题进行友好讨论，寻求双方都能接受的解决方案。
- 收集证据：如果协商无果，建议双方各自收集相关证据，如土地使用权证明、种植记录、支付凭证等，以证明自己的权益。
- 寻求法律帮助：在必要时，可以寻求专业律师的帮助，通过法律途径来解决争议。律师可以根据具体情况提供法律意见，并协助当事人进行诉讼或调解。
可能的法律后果：
- 如果出租方未经允许擅自清除承租方的种植物，可能构成对承租方财产权的侵犯，需要承担相应的赔偿责任。
- 如果承租方未经允许擅自种植作物，且该行为违反了相关法律法规或侵犯了出租方的合法权益，那么出租方有权要求承租方承担相应的法律责任，包括清除种植物、赔偿损失等。
总之，没有租地协议并不意味着可以直接清除种植物。在处理此类问题时，应谨慎行事，遵循法律法规和当地政策，通过合法途径解决争议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。