几十年的羊舍被政府划为基本农田并不直接构成违法。然而，这一行为可能涉及到土地用途变更、基本农田保护以及养殖用地选择等多个法律层面的问题。下面我将从几个方面进行详细分析：

一. 基本农田的法定保护

• 根据《中华人民共和国土地管理法》第三十五条以及《基本农田保护条例》第十五条，永久基本农田经依法划定后，任何单位和个人不得擅自占用或者改变其用途。这是为了保障国家粮食安全和农业可持续发展而设定的法律红线。

二. 养殖用地的选择

• 养殖用地应尽量选择未利用土地，如废弃地和荒山荒坡等，不占或少占耕地，更不得占用基本农田。这是遵循土地管理法规，合理利用土地资源的基本要求。

三. 土地用途变更的法定程序

• 如果政府计划将原有的养殖用地（如羊舍所在地）划为基本农田，必须依法进行土地用途变更的审批程序。这通常包括向相关部门提出申请，经过审查、评估、公示等环节，最终获得批准。

四. 违法占用基本农田的后果

• 如果未经合法审批程序，擅自将养殖用地改为基本农田或继续在已划为基本农田的土地上进行养殖活动，将面临法律责任。根据相关法律法规，这种违法行为可能会受到行政处罚，包括但不限于罚款、拆除违法建筑等。

五. 历史遗留问题的处理

• 对于已经存在几十年的羊舍被划为基本农田的情况，可能涉及到历史遗留问题的处理。这需要政府相关部门进行详细的调查和评估，考虑当地实际情况、农民权益保障以及法律法规的遵循等多方面因素，制定合理的解决方案。

综上所述，几十年的羊舍被政府划为基本农田并不直接构成违法，但关键在于这一行为是否符合土地用途变更的法定程序以及是否遵循了基本农田保护的法律法规。如果政府已经依法进行了相关审批和公告程序，并且为农民提供了合理的补偿和安置方案，那么这一行为就是合法的。如果政府未依法进行审批或未充分考虑农民权益，那么农民有权通过法律途径维护自己的合法权益。

我的建议：如果您是相关农民或利益相关者，建议您详细了解政府的划定决策及其法律依据，并咨询当地土地管理部门或法律专业人士，以确保自己的权益得到保障。如有进一步需要，您可以继续咨询我。