针对“违反回避制度的案件如何处理”这一问题，我们需要根据不同身份主体（如法官、公务员等）来具体分析，因为不同身份违反回避制度所适用的处理机制和法律依据有所不同。以下我将分别就法官和公务员违反回避制度的情况进行详细解答。

一、法官违反回避制度的处理

法官违反回避制度是一个严重的问题，关乎司法公正与公众信任。对此，有以下处理机制：

1. 当事人的权利救济：

   • 申请回避与复议：当事人及其法定代理人若发现法官存在应当回避而未回避的情形，有权申请其回避，并说明理由。法院应在3日内作出决定。若对驳回申请的决定不服，可申请复议一次，复议期间被申请回避的人员不停止参与本案工作。
   • 上诉：如一审程序中法官违反回避制度，当事人可将此作为上诉理由，在上诉期内向上一级人民法院提起上诉。二审法院若认为原判决违反法定程序，可能影响案件正确判决的，将裁定撤销原判决，发回重审。

2. 法院内部的处理机制：

   • 自行纠正：法院若发现法官违反回避制度，会启动内部监督机制进行纠正，如上级法院指令下级法院重新审理并更换审判人员。
   • 纪律处分：对于违反回避制度的法官，法院将依据相关纪律规定给予处分，处分等级包括警告、记过、记大过、降级、撤职乃至开除。

3. 检察监督：

   • 人民检察院作为法律监督机关，有权对法官在审判过程中违反回避制度的行为进行监督，通过提出检察建议、抗诉等方式进行纠正。

4. 极端情况下的法律程序：

   • 若法官的回避问题导致案件不公正审理，还可能引发再审等法律程序，以确保案件公正处理。

二、公务员违反回避制度的处理

公务员若违反回避制度，将依据《中华人民共和国公务员法》《行政机关公务员处分条例》等相关法律法规进行处理：

1. 立即停止执行相关任务：

   • 一旦发现公务员违反回避制度，应立即停止其执行相关任务或职责，以防止进一步的不良影响。

2. 批评教育：

   • 针对情节较轻、未造成实际危害后果的违规行为，通常采取批评教育方式，督促公务员认识错误并改正。

3. 组织处理：

   • 调整工作岗位：若违规情形可能影响公正执行公务，如涉及亲属关系，应对公务员进行岗位调整。
   • 免职：对于故意不申请回避且已对工作造成较大负面影响的严重违规行为，可能会免去公务员现任职务。

4. 纪律处分：

   • 根据违规造成的损失或不良影响程度，给予相应的警告、记过、记大过、降级、撤职或开除处分。处分期间晋升受限，工资待遇也可能降低。

5. 影响其他权益：

   • 违规行为会影响公务员的年度考核结果，可能导致不得确定为优秀等次，甚至被评为不称职等次。同时，在一定期限内，违规公务员在职务职级晋升方面会受到限制。

6. 法律责任：

   • 若违规行为导致公共利益或他人合法权益受损，公务员还需承担相应的法律责任，包括但不限于赔偿损失。

综上所述，无论是法官还是公务员，违反回避制度都将面临严肃的处理和可能的法律后果。因此，建议所有相关人员高度重视回避制度，确保行为合法合规，以维护司法公正和行政公正。