结论：在可耕地上建养殖场20多年后，现在因不再搞养殖而被告知要拆除，这一行为是否合法，需根据具体情况来判断，主要包括是否办理了相关审批手续、是否符合土地利用总体规划以及是否存在历史遗留问题等因素。以下是对此问题的详细分析：
审批手续方面：
- 根据《土地管理法》及相关规定，在可耕地上建设养殖场通常需要办理农用地转用审批手续，即将耕地转为建设用地，并可能需要办理设施农用地备案等手续。
- 如果您在建设养殖场时未办理这些审批手续，那么该养殖场可能属于违法建筑，政府有权依法进行拆除。
- 如果您已经办理了相关审批手续，并且手续齐全有效，那么政府在拆除前需要充分考虑您的合法权益，不能随意拆除。
土地利用总体规划方面：
- 即使您办理了审批手续，但如果养殖场的建设不符合当地的土地利用总体规划，政府也可能要求您进行整改或拆除。
- 土地利用总体规划是政府对土地资源进行合理配置和利用的重要依据，任何建设活动都需要符合规划要求。
历史遗留问题方面：
- 考虑到您的养殖场已经建设了20多年，可能存在历史遗留问题。在这种情况下，政府在处理时可能会更加谨慎，会充分考虑您的实际情况和合法权益。
- 如果政府确实需要拆除您的养殖场，可能会给予您一定的补偿或安置措施，以减轻您的损失。
建议措施：
- 核实审批手续：首先，您需要核实自己是否办理了相关的审批手续，并确认这些手续是否仍然有效。
- 咨询当地政府：其次，您可以咨询当地政府或相关部门，了解养殖场是否符合土地利用总体规划，以及政府是否有拆除计划。
- 寻求法律援助：如果您认为政府的拆除行为不合法或侵犯了您的合法权益，您可以寻求法律援助，通过法律途径维护自己的权益。
可能后果：
- 如果您的养殖场确实属于违法建筑或不符合土地利用总体规划，且政府已经依法进行了告知和催告等程序，那么政府有权依法进行拆除。在这种情况下，您可能需要承担拆除费用或接受其他行政处罚。
- 如果政府拆除行为不合法或侵犯了您的合法权益，您可以通过法律途径提起行政诉讼或申请行政复议等，要求政府撤销拆除决定或给予赔偿。
总结与进一步思考：
在处理此类问题时，建议您首先核实自己的审批手续和养殖场的合规性，然后咨询当地政府或相关部门了解具体情况。如果确实存在违法或不合规的情况，建议您积极配合政府进行整改或拆除工作；如果认为政府的拆除行为不合法或侵犯了您的合法权益，您可以寻求法律援助来维护自己的权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。