结论：受害者不能直接起诉驳回责任认定书，但可以通过申请复核或在诉讼中提出异议来维护自身权益。以下是对此问题的详细分析：
一、责任认定书的性质与效力
责任认定书是交警部门根据事故现场勘查、调查取证等程序，依法作出的关于事故责任划分的书面文件。它具有一定的法律效力，是处理交通事故、确定赔偿责任的依据之一。然而，责任认定书并非终局性裁决，其效力在诉讼中可以被质疑和推翻。
二、受害者对责任认定书的异议途径
申请复核：
- 根据《道路交通事故处理程序规定》，当事人对道路交通事故认定有异议的，可以自道路交通事故认定书送达之日起三日内，向上一级公安机关交通管理部门提出书面复核申请。
- 复核申请应当载明复核请求及其理由和主要证据。上一级公安机关交通管理部门会在收到复核申请后五日内作出是否受理的决定，并在三十日内作出复核结论。
- 如果复核结论认为原责任认定书存在错误，会撤销原责任认定书并责令原办案单位重新作出责任认定。
在诉讼中提出异议：
- 如果受害者未在规定时间内申请复核，或者对复核结论仍不满意，可以在后续的民事诉讼中，将责任认定书作为证据提交，并对其提出异议。
- 在诉讼过程中，法院会根据双方提交的证据和法律规定，对事故责任进行重新认定。如果法院认为责任认定书存在错误或不合理之处，可以不予采信，并依据查明的事实作出新的责任划分。
三、受害者不能直接起诉驳回责任认定书的原因
- 责任认定书是交警部门依法作出的行政行为，其效力在行政程序中已经得到确认。受害者不能直接对责任认定书提起行政诉讼，因为行政诉讼的被告通常是作出行政行为的行政机关，而责任认定书本身并不直接设定、变更或消灭当事人的权利义务关系。
- 受害者可以通过申请复核或在诉讼中提出异议的方式，间接地挑战责任认定书的效力。这些途径为受害者提供了充分的救济机会，以确保其合法权益得到保护。
四、建议与注意事项
- 及时申请复核：如果受害者对责任认定书有异议，应在规定时间内及时申请复核，以免错过救济时机。
- 收集证据：在申请复核或提起诉讼前，受害者应尽可能收集与事故相关的证据，如现场照片、视频、证人证言等，以支持其异议主张。
- 咨询专业律师：由于交通事故责任认定涉及复杂的法律问题和专业知识，受害者在处理此类事务时，建议咨询专业律师的意见和帮助。
作为宋子威律师，我专注于债权债务、交通事故领域，如果你有任何相关法律问题或需要进一步的法律帮助，请直接向我咨询。