双方都离开事故现场是否构成肇事逃逸，需根据具体情况及双方行为和动机综合判断。以下从不同角度为您详细分析：
一、构成肇事逃逸的情况
存在逃避责任故意：
- 如果双方在明知发生交通事故的情况下，为了逃避承担事故责任、赔偿义务或法律追究等目的，未经合法合理处理（如抢救伤者除外）即离开现场，这种行为将被认定为肇事逃逸。例如，双方发生碰撞后下车查看了事故情况，但担心担责而直接驾车离开。
应当停车处理而未处理：
- 根据《中华人民共和国道路交通安全法》的规定，车辆驾驶人在道路上发生交通事故后，应立即停车保护现场，并造成人身伤亡时应立即抢救受伤人员并迅速报警。若双方均未履行这些法定义务而直接离开，则符合肇事逃逸的构成要件。
无合理理由且未留联系方式：
- 如果没有合理理由离开现场，且未留下任何联系方式和后续处理措施，就可能被认定为逃逸。
二、不构成肇事逃逸的情况
无知情离开：
- 如果双方当事人都不知道发生了交通事故而离开现场，由于不存在逃避法律追究的故意，一般不认定为逃逸。例如，两车轻微碰撞且声音较小，双方均未察觉而继续驾车离开。
轻微事故协商后离开：
- 交通事故非常轻微，没有造成人员伤亡，只是车辆轻微刮擦，且双方当事人已经协商一致并离开现场，此行为可能不被视为逃逸。但需注意，即使协商一致，也应尽量留下联系方式和事故现场照片等证据，以备后续需要。
有正当理由离开：
- 如一方为了抢救伤者去附近医院寻求帮助等正当理由离开现场，并及时报警说明情况，不属于逃逸。同样，如果当事人离开后能够证明其有紧急就医等其他正当理由，也可能不被认定为逃逸。
双方均停车查看并交换信息：
- 如果事故发生后，双方驾驶员都立即停车，查看事故情况，互相交换了必要信息（如姓名、联系方式、车牌号等），并且没有表现出逃避法律责任的行为，那么这种情况下的离开也不构成肇事逃逸。
三、法律后果与建议
法律后果：交通肇事逃逸是违法行为，需承担相应的法律责任。根据事故的严重程度和逃逸的具体情节，可能面临罚款、拘留、吊销驾驶证等行政处罚，甚至可能构成犯罪，承担刑事责任。
建议：为避免不必要的法律纠纷和麻烦，建议在发生交通事故后，双方驾驶员应遵守法律法规，立即停车、保护现场、查看情况、交换信息，并根据实际情况及时报警或协商处理后续事宜。如果确实有特殊原因需要离开现场，应确保留下联系方式并及时向相关部门说明情况。
总之，双方都离开事故现场是否构成肇事逃逸，需根据具体情况及双方行为和动机综合判断。如果您对此有疑问或需要进一步的法律帮助，请直接向我咨询。