结论：您是否有权要求退林还耕，主要取决于土地的性质、使用权归属以及对方种植茶树的行为是否合法。以下从不同角度为您详细分析：
一、土地性质与使用权归属
若土地为集体所有，且您拥有使用权：
- 根据《中华人民共和国土地管理法》及相关规定，农村土地属于集体所有，但集体成员可以依法取得土地的使用权。如果您拥有该土地的使用权，且对方未经您同意擅自种植茶树，那么您有权要求对方停止侵害、恢复原状，即退林还耕。
- 建议：首先与对方协商，要求其自行移除茶树并恢复土地原状。若协商无果，您可以向当地农村土地承包仲裁机构申请仲裁，或者直接向人民法院提起诉讼，要求对方承担侵权责任。
若土地为集体所有，但使用权不属于您：
- 如果您并非该土地的使用权人，而是对方通过合法方式（如承包、租赁等）取得了土地的使用权，并种植了茶树，那么您可能无权直接要求退林还耕。
- 例外情况：如果对方种植茶树的行为违反了土地用途管制规定（如将耕地改为林地），或者违反了与集体签订的承包合同或租赁合同中的约定，那么集体或相关管理部门有权要求对方退林还耕。
二、对方种植茶树的行为是否合法
合法种植：
- 如果对方通过合法方式取得了土地的使用权，并按照土地用途管制规定和合同约定种植了茶树，那么其行为是合法的，您无权要求退林还耕。
- 建议：在这种情况下，您可以与对方协商，看是否能够通过补偿等方式解决争议，或者寻求其他合适的土地进行耕种。
非法种植：
- 如果对方未经许可擅自占用您的土地种植茶树，或者违反了土地用途管制规定和合同约定种植茶树，那么其行为是违法的，您有权要求对方退林还耕。
- 建议：除了与对方协商和申请仲裁、提起诉讼外，您还可以向当地土地管理部门或农业部门举报对方的违法行为，要求相关部门进行查处。
三、实际操作中的注意事项
收集证据：
- 在要求对方退林还耕前，您需要收集足够的证据来证明您对土地的使用权以及对方非法种植茶树的事实。这些证据可以包括土地承包合同、租赁合同、土地使用权证、现场照片、视频等。
保持冷静与理性：
- 在处理此类纠纷时，保持冷静与理性至关重要。避免采取过激行为或言语攻击对方，以免激化矛盾并导致不必要的法律后果。
寻求专业帮助：
- 如果您对土地法律关系或纠纷处理流程不熟悉，建议寻求专业律师或法律工作者的帮助。他们可以为您提供专业的法律意见和协助您处理纠纷。
总结：您是否有权要求退林还耕取决于土地的性质、使用权归属以及对方种植茶树的行为是否合法。在处理此类纠纷时，建议您首先收集证据、保持冷静与理性，并根据实际情况选择合适的解决方式。如有需要，您可以随时向我咨询相关法律问题。