在交通事故后双方都离开现场的情况下，责任认定确实是一个需要细致分析的问题。以下是我为您提供的详细解答：
一、责任认定原则
同等责任原则：
- 如果双方均无正当理由擅自离开现场，导致事故责任无法准确认定，根据一般原则，双方可能会被推定为承担同等责任，即各自承担50%的责任。
过错责任原则：
- 如果一方存在明显过错，如酒驾、无证驾驶、逃逸、违反交通信号灯等，即使双方都离开了现场，该过错方也可能被认定为承担主要或全部责任。
- 具体责任的划分需要依据事故现场的证据、目击证人的证词以及交警部门的调查结果来综合判断。
特殊情形处理：
- 如果一方因受伤急需就医等合理原因离开现场，并及时报警说明情况，而另一方无故离开，则无故离开的一方可能被认定为逃逸，从而承担主要或全部责任。
- 如果双方都因合理原因离开现场，并及时报警说明情况，交警部门会根据双方在事故发生过程中的过错程度来确定责任。
二、责任认定流程
交警调查：
- 交警部门会通过查看现场痕迹、车辆损坏情况、询问目击证人、调阅监控视频等方式，全面调查事故情况。
- 这些信息对于判断事故发生时的车辆行驶轨迹、速度、碰撞位置等关键事实至关重要。
确定离开原因：
- 交警会深入调查双方离开现场的具体原因，以判断是否存在合理理由。
- 如果一方能提供医院就诊记录、报警记录等证据证明其离开现场的合理性，则情况会有所不同。
责任认定书：
- 交警部门会根据调查结果出具责任认定书，明确双方的责任比例。
- 如果对责任认定有异议，可以在规定时间内申请复核或提起行政诉讼。
三、法律依据
- 《中华人民共和国道路交通安全法》第七十条：明确规定车辆驾驶人发生交通事故后应立即停车，保护现场，并报告相关部门。未经许可离开现场是不被允许的。
- 《中华人民共和国道路交通安全法实施条例》第九十二条：进一步规定交通事故后当事人逃逸的，逃逸的当事人承担全部责任。但有证据证明对方当事人也有过错的，可以减轻责任。
四、建议与注意事项
保持冷静并报警：
- 发生事故后，双方应保持冷静，尽快报警并保护现场。
- 即使双方都离开了现场，也应主动报警并配合交警部门的调查。
收集证据：
- 如果可能的话，尽量收集现场照片、视频、目击证人联系方式等证据。
- 这些证据对于后续的责任认定和赔偿协商非常重要。
咨询专业律师：
- 如果对责任认定或赔偿协商有疑问或争议，建议咨询专业律师以获取准确的法律意见。
- 律师可以帮助您分析事故情况、准备证据材料，并在必要时代表您进行法律诉讼。
综上所述，交通事故后双方都离开现场的责任认定是一个综合考量多种因素的过程。建议当事人在发生事故后保持冷静，尽快报警并配合调查，以便准确认定责任并妥善处理后续事宜。