听证员与案件有利害关系时，确实应当回避。这是基于法律程序的公正性和客观性要求，确保听证过程不受任何可能影响公正裁决的因素干扰。以下从多个角度对此问题进行详细分析：

1. 法律原则与规定：

   • 在法律程序中，公正和客观是基本原则。听证员作为中立第三方，其职责是客观、公正地听取双方意见，并作出裁决。如果听证员与案件有利害关系，可能会影响其判断的公正性，从而损害当事人的合法权益。
   • 根据相关法律法规（如《行政处罚法》等，具体条款可能因地区和案件类型而异，但基本原则一致），与案件有利害关系的人员应当回避，以确保听证程序的公正性。

2. 回避的必要性：

   • 避免偏见：如果听证员与案件有利害关系，可能会不自觉地产生偏见，倾向于保护自己的利益或与自己有利害关系的一方，从而损害另一方的权益。
   • 维护程序公正：听证程序是法律程序的重要组成部分，其公正性直接关系到法律裁决的权威性和公信力。如果听证员不回避，可能会引发当事人对听证程序公正性的质疑，进而影响法律裁决的执行和社会的稳定。

3. 回避的具体情形：

   • 直接利害关系：如听证员是案件的当事人、当事人的近亲属或与案件有直接经济利益关系等。
   • 间接利害关系：虽然听证员不是案件的直接当事人，但与案件存在某种间接关系，如曾经为案件一方提供过法律咨询、代理等，可能影响其公正判断。

4. 回避的程序与后果：

   • 回避申请：当事人有权在听证前或听证过程中提出回避申请，说明回避的理由和事实依据。
   • 审查决定：听证机构或上级机构应对回避申请进行审查，并作出是否回避的决定。如果决定回避，应更换听证员或采取其他措施确保听证程序的公正性。
   • 法律后果：如果听证员应当回避而未回避，其作出的裁决可能因程序违法而被撤销或改判，同时听证员也可能面临法律责任。

建议：

• 如果您发现听证员与案件有利害关系，应及时向听证机构或上级机构提出回避申请，并说明理由和事实依据。
• 在听证过程中，保持冷静和理性，积极陈述自己的意见和证据，以维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。