针对后视镜剐蹭后双方都离开现场的情况，处理方式需根据具体情形来定，但总体原则是及时采取措施以维护自身权益并避免法律风险。以下是一些具体的处理步骤和建议：
立即评估情况并考虑报警：
- 如果剐蹭轻微，且双方均未察觉或已达成口头和解后离开，理论上虽不违法，但存在潜在风险，如后续对方反悔或发现隐藏损伤。
- 若剐蹭明显，且怀疑对方可能逃逸或存在酒驾等违法行为，应立即报警。报警时，提供详细的事故发生时间、地点、对方车辆特征（如车型、颜色、车牌号等，若记得）以及事故经过。
保护现场证据：
- 在确保安全的前提下，尽量保护事故现场，不要随意移动车辆或相关物品。
- 使用手机或相机拍摄事故现场的全貌、车辆位置、受损情况以及道路标志标线等，这些照片和视频将作为后续调查和处理的重要依据。
配合警方调查：
- 如果警方介入调查，应积极配合，提供详细的事故经过和观察到的肇事车辆特征。
- 如果事故现场有目击证人，应尽可能留下他们的联系方式，以便警方后续取证。
了解法律后果：
- 根据《中华人民共和国道路交通安全法》的规定，造成交通事故后逃逸的，将面临吊销机动车驾驶证、终生不得重新取得机动车驾驶证的处罚，并可能构成犯罪，依法追究刑事责任。虽然双方都离开了现场，但如果后续被查明存在逃逸行为，仍可能面临法律制裁。
- 对于未逃逸但未及时报警或处理事故的一方，也可能因违反交通法规而受到相应处罚。
保险理赔与车辆维修：
- 及时向自己的保险公司报案，告知事故情况。根据保险合同的约定，如果购买了车损险，在对方未找到或无法确定责任的情况下，保险公司可能会进行一定比例的赔偿。
- 在等待事故处理期间，为了不影响车辆的正常使用，可以选择正规的修理厂对受损的后视镜进行维修或更换。保留好维修费用清单等相关证据，以备不时之需。
注意事项与后续跟进：
- 在整个处理过程中，保持冷静和理智的态度，避免因情绪激动而做出不当的行为或决策。
- 妥善保管所有与事故相关的证据材料，包括现场照片、维修费用清单、警方出具的证明文件等。
- 持续跟进案件进展，与交警和保险公司保持沟通联系，及时了解理赔情况和案件处理结果。
特殊情况处理：
- 如果双方均未察觉剐蹭而离开现场，且后续发现损伤，建议首先尝试通过行车记录仪、监控录像等手段查找对方车辆信息，并尝试联系对方协商处理。
- 如果无法联系到对方或对方拒绝承担责任，可以考虑通过法律途径解决，如向法院提起民事诉讼要求赔偿。
总结来说，后视镜剐蹭后双方都离开现场的处理方式需根据具体情况来定。但无论如何，及时报警、保护现场证据、配合警方调查、了解法律后果、进行保险理赔与车辆维修以及注意保留证据材料和持续跟进都是处理此类事故的关键步骤。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。