结论：针对您提出的“农田被别人栽树，且对方声称是政府行为但并未退耕还林”的问题，这涉及到土地使用权、政府行为合法性以及可能的侵权责任等多个方面。以下是我从不同角度为您进行的分析和建议。

一、土地使用权角度

1. 确认土地使用权归属：

   • 首先，您需要确认该农田的土地使用权是否归您所有。这通常可以通过查看土地承包合同、土地使用权证等文件来确认。
   • 如果土地使用权确实归您所有，那么别人在您的农田上栽树就构成了对您土地使用权的侵犯。

2. 处理侵犯土地使用权的行为：

   • 您可以先与对方进行协商，要求其停止侵权行为，并恢复农田原状。
   • 如果协商无果，您可以向当地土地管理部门或农村土地承包仲裁机构申请调解或仲裁，以维护自己的合法权益。

二、政府行为合法性角度

1. 核实政府行为：

   • 对方声称是政府行为，但并未退耕还林。您需要核实这一说法是否属实。
   • 您可以向当地政府或相关部门咨询，了解是否有在该农田上进行退耕还林或其他政府项目的计划或实施情况。

2. 政府行为不合法的处理：

   • 如果经核实，对方声称的政府行为并不存在或并不合法，那么对方的行为就构成了对您土地使用权的非法侵犯。
   • 在这种情况下，您不仅可以要求对方停止侵权行为，还可以要求其承担因侵权行为给您造成的损失。

三、侵权责任角度

1. 确定侵权责任：

   • 如果对方的行为确实构成了对您土地使用权的侵犯，并且给您造成了损失，那么对方应当承担侵权责任。
   • 侵权责任可能包括停止侵害、恢复原状、赔偿损失等。

2. 寻求法律救济：

   • 如果对方拒绝承担侵权责任，您可以通过法律途径来维护自己的权益。
   • 您可以向人民法院提起诉讼，要求对方承担侵权责任，并赔偿您因此遭受的损失。

四、特殊情况考虑

• 如果确实存在政府项目：如果经核实，确实存在政府在该农田上进行退耕还林或其他项目的计划或实施情况，但对方并未按照正规程序进行，或者存在其他违法行为，您也可以向相关部门进行举报，并要求政府给予合理的补偿或安置。

建议与行动步骤：

1. 收集证据：首先，收集所有与农田使用权、对方栽树行为以及政府行为相关的证据，如土地承包合同、土地使用权证、现场照片、视频、政府文件等。
2. 核实信息：向当地政府或相关部门核实对方声称的政府行为是否属实，以及是否有在该农田上进行退耕还林或其他项目的计划或实施情况。
3. 协商与调解：尝试与对方进行协商，要求其停止侵权行为，并恢复农田原状。如果协商无果，可以向当地土地管理部门或农村土地承包仲裁机构申请调解或仲裁。
4. 法律诉讼：如果调解或仲裁无果，或者对方拒绝承担侵权责任，您可以向人民法院提起诉讼，要求对方承担侵权责任，并赔偿您因此遭受的损失。

希望以上分析能够对您有所帮助。如果您在处理过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。