结论：在基本农田上建养殖场，即使已经四五年不养了，仍然可能构成违建，具体是否违建需结合实际情况判断。以下从几个方面进行详细分析：

1. 基本农田的保护规定：

   • 根据我国相关法律法规，基本农田是受到严格保护的，任何单位和个人不得擅自改变其用途。在基本农田上建设养殖场，本质上属于改变了基本农田的用途，这通常是不被允许的。

2. 违建的认定：

   • 违建的认定主要依据是否取得了合法的建设许可。如果在基本农田上建设养殖场时，没有获得相关部门的批准或许可，那么该建筑就可能被认定为违建。
   • 即使养殖场已经停止运营四五年，但只要其建设时未经批准，且未经过后续的合法化处理（如补办手续、拆除或改造等），那么该建筑仍然可能被视为违建。

3. 后续处理建议：

   • 了解当地政策：首先，建议了解当地对于基本农田上建设养殖场的具体政策规定，以及对于违建的处理方式。不同地区可能有不同的执行标准和政策导向。
   • 咨询相关部门：其次，可以咨询当地的自然资源部门或农业农村部门，了解该养殖场的具体情况是否构成违建，以及是否需要采取补救措施。
   • 考虑合法化途径：如果养殖场的建设确实存在违规情况，但希望保留该建筑或进行改造利用，可以考虑咨询专业律师或相关部门，了解是否有合法化的途径，如补办手续、申请变更土地用途等。
   • 准备应对处理：如果确认构成违建，且无法合法化，那么需要做好应对处理的准备，如接受罚款、拆除建筑等。在此过程中，也可以咨询律师以维护自身合法权益。

4. 法律后果：

   • 如果养殖场被认定为违建，可能会面临罚款、拆除等法律后果。具体后果取决于违建的性质、情节以及当地政策的规定。
   • 在某些情况下，如果违建行为对基本农田造成了严重破坏或影响，还可能涉及刑事责任。

总结与建议：在基本农田上建养殖场，即使已经停止运营，仍然可能构成违建。建议尽快了解当地政策、咨询相关部门，并根据实际情况考虑合法化途径或准备应对处理。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。