结论：针对您在农业用地上建厂房并与房东签订三年合同，现被政府部门要求搬走的情况，您需要从合同效力、政府行为合法性、损失赔偿等多个角度进行综合分析和应对。
一、合同效力问题
合同可能无效：根据《土地管理法》的相关规定，农业用地用于非农业建设（如建厂房）需要经过法定程序审批，并办理农用地转用审批手续。若您未办理相关手续，在农业用地上擅自建设厂房，该行为可能构成违法用地，您与房东签订的租赁合同可能因违反法律强制性规定而无效。
合同无效的后果：若合同无效，您可能无法依据合同条款要求房东承担违约责任。但您有权要求房东返还因合同取得的财产（如已支付的租金），并可能要求房东赔偿您因合同无效而遭受的损失（如建设厂房的成本、搬迁费用等），具体赔偿范围需根据双方过错程度等因素综合确定。
二、政府行为合法性
政府有权要求整改：政府部门发现您在农业用地上违法建设厂房后，有权依据相关法律法规要求您停止违法行为、限期拆除违法建筑并恢复土地原状。这是政府履行土地管理职责的合法行为。
应对政府行为：您应积极配合政府部门的整改要求，及时拆除违法建筑并恢复土地原状。若您对政府部门的整改决定有异议，可以依法申请行政复议或提起行政诉讼，但在此期间，您仍需履行整改义务，以免面临更严重的法律后果。
三、损失赔偿问题
与房东协商赔偿：尽管合同可能无效，但您仍可以尝试与房东协商赔偿事宜。您可以向房东说明因政府行为导致您无法继续使用厂房并遭受损失的情况，要求房东给予一定的经济补偿。
寻求法律途径解决：若协商无果，您可以考虑通过法律途径解决赔偿问题。您可以向法院提起诉讼，要求房东赔偿您因合同无效和政府行为而遭受的损失。在诉讼过程中，您需要提供充分的证据证明您的损失情况以及房东的过错程度。
四、后续建议
了解土地性质：在未来的经营活动中，您应充分了解土地的性质和用途限制，确保您的经营活动符合法律法规的规定。
办理相关手续：若您需要在农业用地上进行非农业建设，应依法办理农用地转用审批手续和其他相关手续，确保您的建设行为合法合规。
咨询专业律师：在处理此类复杂法律问题时，建议您咨询专业律师的意见。律师可以根据您的具体情况提供针对性的法律建议和解决方案，帮助您更好地维护自己的合法权益。
五、可能面临的法律后果
行政处罚：若您未按照政府部门的整改要求及时拆除违法建筑并恢复土地原状，政府部门可能依法对您进行行政处罚，包括罚款、没收违法所得等。
刑事责任：在极端情况下，若您的违法行为构成犯罪（如非法占用农用地罪），您可能面临刑事责任的追究。因此，您务必重视政府部门的整改要求，及时履行整改义务。
总结：面对当前的情况，您需要从合同效力、政府行为合法性、损失赔偿等多个角度进行综合分析和应对。建议您积极配合政府部门的整改要求，同时与房东协商赔偿事宜，并在必要时寻求法律途径解决争议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。