关于二十年前村外建的养殖场现在让拆除是否合法的问题，这并非一个简单的“是”或“否”能回答的，需要分情况讨论：
养殖场建设合法性：
- 如果二十年前建设养殖场时，已经按照当时的法律法规办理了相关的审批手续，如土地使用证、建设规划许可证等，且养殖场的建设符合当时的规划要求，那么该养殖场的建设是合法的。
- 如果当时未办理相关审批手续，或者建设违反了当时的规划要求，那么该养殖场可能属于违法建设。
当前拆除的合法性：
- 合法建设的情况：即使养殖场建设时合法，但如果现在因公共利益需要（如修建道路、桥梁、公园等），且政府已经按照法定程序进行了征收、补偿等前置工作，那么拆除养殖场可能是合法的。此时，政府应给予养殖场主合理的补偿，包括土地补偿、地上附着物补偿、搬迁费用等。
- 违法建设的情况：如果养殖场建设时违法，且现在政府发现并决定进行拆除，那么拆除行为本身可能是合法的。但政府在拆除前，也应依法履行告知义务，给予养殖场主合理的期限进行自行拆除或搬迁，并可能根据实际情况给予一定的补偿（尽管违法建设本身可能不享受完整的补偿权益）。
特殊情况考虑：
- 历史遗留问题：有些养殖场可能因历史原因（如当时法律法规不健全、管理不规范等）而存在建设手续不全等问题。对于这类历史遗留问题，政府在处理时可能会采取更加灵活和人性化的方式，如要求补办手续、给予一定的整改期限等。
- 政策变化：随着时间推移，相关政策可能发生变化。例如，某些地区可能出台了新的土地利用规划或环保政策，导致原有养殖场不再符合新的规划要求。在这种情况下，政府可能会要求养殖场进行搬迁或改造。
建议：
- 如果您收到拆除通知，首先应核实养殖场的建设合法性，包括查看相关审批手续和规划文件。
- 了解政府拆除的具体原因和依据，以及是否已经履行了法定程序（如征收、补偿等）。
- 如果您认为拆除行为不合法或补偿不合理，可以及时向相关部门提出异议或申请行政复议、提起行政诉讼等法律途径维护自己的权益。
最后，每个案件都有其独特性，具体情况需要具体分析。如果您对养殖场拆除的合法性有疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。