在林业案件中，若违反了回避制度，应当依法纠正，并视情节对相关责任人员给予处分；若已作出的判决、裁定或决定因违反回避制度而影响公正的，应依法撤销或变更。以下是具体分析：

1. 回避制度的重要性
   回避制度是确保司法公正、防止利益冲突的核心程序规则。在林业案件中，若办案人员（如法官、检察官、侦查人员等）与案件有利害关系、可能影响公正处理，必须依法回避。违反回避制度可能直接导致程序违法，甚至影响实体判决的公正性。

2. 违反回避制度的处理方式

   • 程序纠正：若在诉讼过程中发现违反回避制度，当事人可立即提出异议，要求更换办案人员。法院、检察院或侦查机关应依法审查，符合回避情形的必须更换，并重新审理相关程序。
     
   • 实体处理：若案件已作出判决、裁定或决定，但因违反回避制度导致程序违法且可能影响公正的，当事人可通过上诉、申诉或申请再审等途径，请求上级机关撤销原判决、裁定或决定，并重新审理。
     
   • 责任追究：对故意违反回避制度、隐瞒利益关系或拒不回避的办案人员，可依据《公务员法》《法官法》《检察官法》等规定，给予警告、记过、降级甚至撤职等处分；构成犯罪的，依法追究刑事责任。

3. 林业案件的特殊性
   林业案件常涉及环境资源保护、行政许可、刑事犯罪（如滥伐林木罪）等，可能涉及地方利益或行政干预。若办案人员与涉案企业、个人存在利益关联（如亲属关系、经济往来），或曾参与案件前期行政程序（如审批、处罚），均需主动回避。违反回避制度可能加剧“地方保护主义”风险，损害司法公信力。

4. 当事人的救济途径

   • 提出异议：在知道回避事由后，当事人可在案件审理结束前书面或口头提出回避申请，并说明理由。
     
   • 申请复议：若回避申请被驳回，当事人可申请复议一次，复议机关应在3日内作出决定。
     
   • 上诉/申诉：若案件已结案，当事人可因程序违法（如违反回避制度）提出上诉或申诉，要求撤销原判决并重审。

建议：若您或他人涉及的林业案件中存在违反回避制度的情形，建议尽快收集相关证据（如办案人员与案件的关联证明、异议申请记录等），并及时向法院、检察院或上级机关提出异议或申诉。如有具体问题，可直接向我咨询，我会结合案情为您详细分析。