结论：会车时不小心后视镜刮到对方，双方都离开现场，是否承担责任需视具体情况而定，但逃逸行为本身可能面临法律处罚。以下从不同角度进行分析：
一、事故责任认定
一般原则：
- 根据《中华人民共和国道路交通安全法》及相关规定，交通事故责任认定主要依据当事人的行为对事故发生的作用以及过错的严重程度。
- 若会车时后视镜刮到对方，且该行为是导致事故发生的直接原因，那么刮到对方的一方通常应承担事故责任。
双方都离开现场的情况：
- 如果双方在事故发生后都离开了现场，且没有留下任何联系方式或证据，这可能导致事故责任难以认定。
- 在这种情况下，如果后续有证据表明某一方存在过错（如超速、违规变道等），则该方可能仍需承担事故责任。
二、逃逸行为的法律后果
逃逸的定义：
- 逃逸是指交通事故发生后，当事人为逃避法律责任而擅自离开事故现场的行为。
逃逸的法律责任：
- 根据《中华人民共和国道路交通安全法》第九十九条，造成交通事故后逃逸，尚不构成犯罪的，将面临二百元至二千元罚款，并可能并处十五日以下拘留。
- 如果逃逸行为导致事故责任无法认定，且逃逸方存在过错，那么逃逸方可能需承担全部或主要责任。
您的具体情况：
- 如果您在会车时不小心后视镜刮到对方，然后离开了现场，这可能被视为逃逸行为（尽管可能是无意的）。
- 如果对方报警并提供了相关证据（如车牌号、事故现场照片等），交警部门可能会对您进行调查，并根据调查结果作出相应的处罚。
三、建议与措施
立即报案：
- 如果您意识到自己可能涉及交通事故，应立即向公安机关交通管理部门报案，说明事故经过和逃逸原因（如果是无意的）。
- 报案时提供详尽的事故信息，有助于交警部门迅速展开调查并作出公正的责任认定。
配合调查：
- 如果交警部门联系您进行调查，应积极配合并提供相关证据（如行车记录仪视频、目击证人联系方式等）。
- 诚实地陈述事故经过，避免隐瞒或歪曲事实，以免加重法律责任。
承担责任：
- 如果调查结果显示您确实存在过错并应承担事故责任，应勇于承担并积极配合对方进行损害赔偿等后续事宜。
- 逃避责任不仅无法解决问题，还可能面临更严重的法律后果。
四、预防措施
- 为了避免类似事故的再次发生，建议增强交通安全意识，严格遵守交通规则，谨慎驾驶。
- 安装行车记录仪等设备，为可能发生的事故提供有力证据支持。
- 在发生事故后，保持冷静并立即采取报案、保护现场等措施，避免逃逸行为带来的法律风险。
总结：会车时不小心后视镜刮到对方后双方都离开现场，是否承担责任需视具体情况而定。但逃逸行为本身可能面临法律处罚。因此，建议立即报案、配合调查并勇于承担责任。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。