关于二十年前在自留地上办的养殖场是否算违建的问题，不能一概而论，需根据具体情况综合判断。以下是从不同角度进行的分析：

1. 法律溯及力与建设时的法规

   • 法律通常不具有溯及既往的效力，判断养殖场是否违建，应主要依据建设行为发生时的法律法规。若二十年前建设养殖场时，已按照当时的土地管理、规划等法律法规和政策要求，履行了相应的审批手续（如用地许可、建设规划许可等），则该养殖场一般不属于违建。

2. 审批手续与证件

   • 养殖场的建设必须依法取得相关许可和证件。若未取得或取得的证件存在问题，如用地许可过期、建设规划许可未获批等，则可能构成违建。因此，需要核查养殖场建设时是否取得了完整的审批手续和证件。

3. 用地性质与使用情况

   • 若养殖场属于设施农业用地范畴，且按照规定与农村集体经济组织签订了用地协议，并进行了用地备案，其建设符合设施农业用地的规模控制、建设标准等要求，则即使未办理一般建设项目的复杂规划和用地审批，也不应认定为违建。
   • 然而，若养殖场未经依法批准，擅自占用基本农田进行非农业建设，且不符合国家规定的农业设施建设条件，则很可能被认定为违建。

4. 城乡规划与安全隐患

   • 若养殖场所在区域在建设时已制定城乡规划，而养殖场的建设位置、规模、用途等不符合规划要求，如建在规划的公共绿地、道路用地等禁止建设区域内，则可能被认定为违建。
   • 此外，养殖场建设必须符合建筑安全标准，不得对周边居民的生命财产安全构成威胁。如建筑结构不稳固、消防设施缺失等存在安全隐患的情况，即使建设时间较长，也可能被认定为违建并要求整改或拆除。

5. 历史因素与政策差异

   • 考虑到过去农村地区管理相对不规范，部分养殖场可能因历史原因未办理相关证件。若养殖场不妨碍公共利益、不存在安全隐患等问题，一般不宜认定为违建。
   • 同时，不同地方的政策可能存在差异，对于养殖场的认定和处理方式也可能有所不同。因此，在具体判断时还需参考当地的相关政策和规定。

建议措施：

• 为准确判断养殖场是否构成违建，建议咨询当地的自然资源主管部门或城乡规划部门，以获取最权威、最准确的意见。
• 若养殖场确实存在违建问题，应积极配合政府部门的整改要求，通过补办手续、调整用地性质、消除安全隐患等方式进行补救。

综上所述，判断二十年前在自留地上办的养殖场是否算违建是一个复杂而细致的过程，需综合考虑多个方面的因素。在处理此类问题时，应秉持公正、合理、合法的原则，确保法律的正确实施和当事人的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。