听证会中被害人不一定要到场，但需分情况讨论：

1. 行政处罚听证会
   根据《行政处罚法》第六十四条，听证会由行政机关通知当事人（包括拟处罚对象）参加，但未明确要求被害人必须到场。实践中，被害人通常作为利害关系人被通知，若选择不出席，不影响听证程序继续进行，但可能丧失陈述意见、提交证据的机会。若被害人未到场，行政机关仍需根据现有证据作出决定。

2. 刑事诉讼中的听证程序（如羁押必要性审查）
   在刑事诉讼中，听证程序（如检察院审查逮捕、羁押必要性审查）通常以保障犯罪嫌疑人权利为核心，被害人并非法定必须到场人员。但根据《人民检察院刑事诉讼规则》，被害人有权申请参加听证，若提出申请，检察院一般应允许其到场陈述意见。若被害人未申请或未到场，不影响听证程序合法性。

3. 民事、行政诉讼中的听证（如证据交换、调解听证）
   在民事或行政诉讼中，听证程序（如证据交换、调解）的参与人员由法院根据案件需要决定。被害人作为当事人或利害关系人，若法院认为其陈述对查明事实有重要作用，可能通知其到场；但若被害人未被通知或选择不出席，法院仍可依法推进程序。

建议：

• 若您作为被害人收到听证通知，建议尽量到场以充分行使权利（如陈述意见、提交证据）；
  
• 若因特殊原因无法到场，可提前向组织听证的机关提交书面意见或委托代理人代为参加；
  
• 若您对听证程序有疑问（如是否应通知您到场），可直接向我咨询具体场景下的法律适用问题。