结论：是否违法需视具体情况而定，主要看对方退耕还林的行为是否获得了合法授权以及是否侵犯了你的果树地权益。以下从不同角度为你详细分析：

一、若对方退耕还林行为合法且未侵犯你权益

1. 合法授权情况：如果对方是基于政府的相关政策、规划或行政命令，且经过了合法的审批程序，获得了退耕还林的合法授权，同时你的果树地并不在该退耕还林的范围内，或者你已自愿将果树地纳入退耕还林计划并获得了相应补偿，那么对方的行为是合法的，不构成违法。

2. 不侵犯权益情况：即使对方获得了退耕还林的合法授权，但如果你的果树地并未被纳入其中，且对方的行为并未对你的果树地造成任何损害或影响，那么从法律上讲，对方的行为也并未侵犯你的权益，因此不构成违法。

二、若对方退耕还林行为违法或侵犯你权益

1. 无合法授权情况：如果对方未经合法审批程序，擅自将你的果树地纳入退耕还林计划，或者以非法手段获取了退耕还林的授权，那么对方的行为是违法的。在这种情况下，你有权要求对方停止侵害、恢复原状，并可能要求赔偿因此造成的损失。

2. 侵犯权益情况：即使对方获得了退耕还林的合法授权，但如果其行为侵犯了你的果树地权益，如未经你同意擅自砍伐你的果树、占用你的土地等，那么对方的行为也是违法的。在这种情况下，你同样有权要求对方停止侵害、赔偿损失，并可能要求恢复原状。

三、法律建议

1. 收集证据：如果你认为对方的行为违法或侵犯了你的权益，首先应当收集相关证据，如土地权属证明、果树地照片、对方退耕还林的相关文件或通知等。

2. 协商解决：在收集到足够证据后，你可以尝试与对方进行协商，寻求和解或达成补偿协议。

3. 寻求法律援助：如果协商无果，你可以向当地政府相关部门（如林业局、土地管理部门等）投诉或举报，或者寻求法律援助，通过法律途径维护自己的合法权益。

后续行动建议：在处理此类问题时，建议你保持冷静和理性，避免采取过激行为。同时，及时咨询专业律师（即我本人，姚前松律师，专注于婚姻家庭、经济纠纷、债权债务领域），以便更准确地了解自己的权益和义务，以及更有效地维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。