事故责任认定书不需要双方都到场。交警部门会根据现场勘查、调查取证等情况，依法依规作出事故责任认定。一般情况下，交警在完成相关工作后，会制作事故责任认定书，并送达当事人，送达方式包括直接送达、邮寄送达等，当事人无需双方同时到交警部门领取。如果一方对责任认定有异议，可在规定时间内申请复核，复核时也不需要双方共同前往，提出复核申请的一方按照规定提交相关材料和书面申请即可。
以下是关于事故责任认定书的一些详细解释和可能涉及的其他问题：
事故责任认定书的出具时间：
- 公安机关交通管理部门一般自现场调查之日起十日内制作道路交通事故认定书。
- 交通肇事逃逸案件在查获交通肇事车辆和驾驶人后十日内制作道路交通事故认定书。
- 对需要进行检验、鉴定的，应当在检验报告、鉴定意见确定之日起五日内制作道路交通事故认定书。
对事故责任认定书的异议处理：
- 当事人对道路交通事故认定或者出具道路交通事故证明有异议的，可以自道路交通事故认定书或者道路交通事故证明送达之日起三日内提出书面复核申请。
- 复核申请应当载明复核请求及其理由和主要证据。
- 上一级公安机关交通管理部门自受理复核申请之日起三十日内，会对道路交通事故事实是否清楚、证据是否确实充分、适用法律是否正确、道路交通事故责任划分是否公正、道路交通事故调查及认定程序是否合法进行审查，并作出复核结论。
综上所述，事故责任认定书的出具及后续流程并不要求双方必须同时到场。如果您对事故责任认定书有任何疑问或需要进一步的法律帮助，请直接向我咨询。