受害者可以不去参加保险公司申请的交通事故认定复议，但需注意可能产生的法律后果。具体分析如下：
受害者并非复议的必须参与方
交通事故认定复议是保险公司对交警部门作出的《交通事故责任认定书》不服时，向上一级交警部门提出的行政复核申请。根据《道路交通事故处理程序规定》第七十一条，复核申请的主体是当事人（包括肇事方、受害方），但法律未强制要求受害者必须参与复议程序。若受害者未参与，复议机关仍会依法审查原认定书的合法性、合理性，并作出维持或变更决定。
受害者不参与的潜在风险
- 复议结果可能不利：若保险公司提出的新证据（如行车记录仪、监控录像等）足以推翻原认定书，复议机关可能变更责任比例（例如将原认定“肇事方全责”改为“主次责任”）。此时受害者因未参与复议，可能失去在复议阶段反驳的机会，导致后续索赔金额减少。
- 诉讼阶段被动：若复议结果变更责任认定，受害者在后续民事赔偿诉讼中需以新认定书为依据主张权利。若未参与复议，可能在诉讼中面临举证困难（如需证明原认定书更合理）。
受害者的应对建议
- 评估复议必要性：若原认定书责任划分明确（如肇事方全责）、证据充分，且保险公司复议理由明显不成立（如仅口头质疑无新证据），受害者可选择不参与复议，直接等待复议结果后索赔。
- 主动参与复议：若原认定书存在争议（如责任比例模糊、关键证据缺失），或保险公司提出新证据可能影响责任划分，建议受害者通过书面意见或申请听证等方式参与复议，维护自身权益。
- 保留索赔权利：无论是否参与复议，受害者均需在诉讼时效内（通常为3年）向法院起诉索赔，避免因复议程序延误导致权利丧失。
总结：受害者有权不参与保险公司申请的复议，但需根据案件具体情况权衡利弊。若对复议结果或后续索赔有疑问，可直接向我咨询，我将结合具体证据和法律程序提供专业建议。