听证会中被害人不一定要到场，但需分情况讨论：

1. 行政处罚听证会
   根据《行政处罚法》第六十四条，听证会由行政机关通知当事人（包括被害人）参加，但未强制要求被害人必须到场。若被害人因客观原因无法出席（如健康问题、不可抗力），可提交书面意见或委托代理人参与，不影响听证程序合法性。但若被害人不到场且未提交意见，行政机关可能根据现有证据作出决定，此时被害人可能丧失直接陈述或质证的机会。

2. 刑事诉讼听证会（如审查逮捕、羁押必要性审查）
   在刑事诉讼中，被害人通常作为案件当事人参与听证。根据《刑事诉讼法》及相关司法解释，被害人有权到场陈述意见、提交证据或申请回避。若被害人未到场，听证程序仍可继续，但检察机关需确保其知情权（如通过书面通知、电话告知）。若被害人明确拒绝参与或无法联系，检察机关会记录在案，但不会因此中止程序。不过，被害人缺席可能导致其诉求未被充分考量，影响案件处理结果。

3. 民事/行政诉讼中的听证（如证据交换、庭前会议）
   此类听证中，被害人若作为原告或利害关系人，法院会通知其参与，但未强制要求必须到场。若被害人缺席，法院可能根据其他证据推进程序，甚至按撤诉处理（如原告无正当理由拒不到庭）。但若被害人已委托律师或提交书面材料，法院仍会审查其主张。

实务建议：

• 若您作为被害人，建议尽量到场以直接维护权益（如提出异议、补充证据）；
  
• 若因故无法到场，务必提前提交书面意见或委托代理，并保留通知送达的证据；
  
• 若对听证程序有疑问（如通知合法性、权利保障），可随时向我咨询具体场景下的应对策略。
  

听证会的参与权与程序合法性需结合具体法律关系判断，您可进一步说明案件类型（如行政处罚、刑事案件等），我会为您细化分析。