镇政府不能仅以留存猪场土地没有备案直接认定为违建，需结合具体情况综合判断，以下分情况说明：

1. 备案与违建认定的法律关系
   根据《城乡规划法》第六十四条，违建的认定核心在于是否取得建设工程规划许可证或未按许可建设，而非单纯是否备案。备案通常是行政机关对建设活动的信息登记程序，未备案本身不直接导致建筑违法。若猪场建设符合土地利用规划、城乡规划，且已取得必要审批（如用地许可、环评等），仅未备案的，镇政府无权直接认定为违建。

2. 土地性质对违建认定的影响

   • 农用地（如基本农田）：若猪场占用农用地且未依法办理农用地转用审批手续（《土地管理法》第四十四条），即使备案，也可能因违反土地用途管制被认定为违建。
     
   • 建设用地：若猪场位于建设用地范围内，但未取得乡村建设规划许可证（《城乡规划法》第四十一条），可能被认定为违建，但备案缺失仍非直接依据。

3. 程序合法性要求
   镇政府认定违建需严格遵循法定程序，包括：

   • 立案调查并收集证据（如现场勘验、规划文件核对）；
     
   • 告知当事人陈述、申辩权利；
     
   • 作出《责令限期拆除决定书》并送达；
     
   • 当事人不履行时，依法申请法院强制执行。
     若镇政府未履行上述程序，仅以“未备案”为由直接认定违建，属于程序违法。

4. 历史遗留问题处理
   若猪场建于《城乡规划法》实施前（2008年1月1日），且符合当时政策（如“一户一宅”原则），可能适用《关于规范城乡规划行政处罚裁量权的指导意见》中的“从轻处理”条款，镇政府需结合历史背景综合判断，而非简单以未备案定性。

建议行动：

• 核实猪场土地性质（可通过当地自然资源局查询土地利用总体规划）；
  
• 检查是否取得用地许可、环评批复、乡村建设规划许可证等关键文件；
  
• 若镇政府已下达违建认定通知，可要求其出示规划许可依据及程序合法性证明；
  
• 必要时通过行政复议或行政诉讼主张权利，重点审查认定程序及实体合法性。
  

如有进一步证据或细节需分析，可直接向我提供具体材料以便深入解答。