受害人一直不签责任认定书，这并不会影响责任认定书的法律效力及后续处理流程。以下从几个方面为你详细解释：
一、责任认定书的法律效力
责任认定书是由交通管理部门根据事故现场勘查、调查取证等程序，依法作出的关于事故责任划分的书面文件。它具有法律效力，无论受害人是否签字，都不影响其内容的真实性和合法性。如果受害人对责任认定有异议，可以在规定时间内提出复核申请，但这并不改变责任认定书本身的法律效力。
二、受害人不签字的处理方式
留置送达：如果受害人拒绝签字，交通管理部门可以采取留置送达的方式，将责任认定书留在受害人处，并记录在案。这种方式同样视为已经送达，不影响责任认定书的生效。
公告送达：在极端情况下，如果受害人无法联系或拒绝接收责任认定书，交通管理部门还可以通过公告的方式送达。公告期满后，责任认定书即视为已经送达。
三、后续处理流程
赔偿协商：责任认定书出具后，双方可以根据责任划分进行赔偿协商。如果受害人不签字并不影响赔偿协商的进行，因为赔偿的依据是责任认定书的内容，而不是受害人的签字。
诉讼途径：如果双方无法就赔偿达成一致，任何一方都可以向法院提起诉讼。在诉讼过程中，责任认定书将作为重要证据被法院采纳，用于确定双方的责任和赔偿金额。
四、建议与提醒
保持冷静与理性：面对受害人不签字的情况，建议保持冷静与理性，不要因此产生不必要的争执或冲突。
积极沟通：可以尝试与受害人进行积极沟通，解释责任认定书的法律效力和后续处理流程，争取其理解和配合。
寻求法律帮助：如果双方无法就赔偿达成一致，或者对责任认定有异议，建议及时寻求法律帮助，通过法律途径维护自己的合法权益。
总结来说，受害人不签责任认定书并不会影响其法律效力及后续处理流程。双方应根据责任认定书的内容进行赔偿协商或通过法律途径解决争议。如果你在此过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。