法官拒绝利害关系人申请参与诉讼的违法行为，主要依据《中华人民共和国民事诉讼法》及相关法律法规进行判定和处理。以下是对此问题的详细分析：

一. 法官的回避制度

根据《中华人民共和国民事诉讼法》及相关法律法规，法官在具有利害关系、亲属关系或其他可能影响公正处理案件的情况下应回避。这是确保司法公正、防止利益冲突的重要原则。

1. 法定回避情形：

   • 法官是本案的当事人或者与当事人有直系血亲、三代以内旁系血亲及姻亲关系的。
   • 法官本人或者其近亲属与本案有利害关系的。
   • 法官担任过本案的证人、鉴定人、勘验人、辩护人、诉讼代理人的。
   • 法官与本案的诉讼代理人、辩护人有夫妻、父母、子女或者同胞兄弟姐妹关系的。
   • 法官与本案当事人之间存在其他利害关系，可能影响案件公正处理的。

2. 申请回避的程序：

   • 回避的申请应当由当事人及其法定代理人提出，并说明理由。
   • 人民法院应当依法告知当事人及其法定代理人有权申请回避，并告知其合议庭组成人员、独任审判员、书记员等人员名单。

二. 法官拒绝利害关系人申请参与诉讼的违法行为

如果法官无正当理由拒绝利害关系人的回避申请，这可能构成违法行为，侵犯了当事人的合法权益，也损害了司法公正。对于这种情况，当事人可以采取以下措施：

1. 提出申诉或上诉：

   • 如果当事人认为法官的判决或裁定存在错误，且该错误与法官的利害关系有关，可以通过申诉或上诉的方式寻求救济。

2. 向纪检监察机关举报：

   • 如果法官的行为涉嫌违纪违法，当事人可以向纪检监察机关举报，要求对相关法官进行调查和处理。

三. 法官的责任

根据《中华人民共和国法官法》的相关规定，法官应当忠实执行宪法和法律，维护社会公共利益，保护当事人的合法权益。法官因依法履行职责遭受不实举报、诬告陷害、侮辱诽谤，致使名誉受到损害的，人民法院应当会同有关部门及时澄清事实，消除不良影响，并依法追究相关单位或者个人的责任。同时，法官因依法履行职责，本人及其近亲属人身安全面临危险的，人民法院、公安机关应当对法官及其近亲属采取人身保护、禁止特定人员接触等必要保护措施。

我的观点：法官拒绝利害关系人申请参与诉讼的行为，如果无正当理由，将严重影响司法公正和当事人的合法权益。因此，当事人应积极采取法律手段维护自己的权益，同时，法院和纪检监察机关也应加强对法官行为的监督和管理，确保司法公正和廉洁。如有进一步需要，您可以继续咨询我。