核心结论：交通事故双方离开现场后对方不肯负责，您可以通过收集证据、报警处理、协商调解、提起诉讼等途径来维护自己的合法权益。以下是对这些途径的详细说明：

1. 收集证据：

   • 尽管双方已经离开现场，但您应尽可能回忆并收集与事故相关的证据，如现场照片（如果手机中有拍摄）、行车记录仪视频、目击者联系方式等。
   • 如果事故造成了人身伤害或财产损失，及时就医并保留好医疗记录和费用单据，以及财产损失的评估报告。

2. 报警处理：

   • 立即向当地公安机关交通管理部门报案，说明事故发生的时间、地点、经过以及对方车辆和驾驶员的信息（如果已知）。
   • 警方会根据您提供的信息进行调查，并可能要求对方驾驶员到案接受询问。如果对方构成交通肇事逃逸，将面临更严厉的法律处罚。

3. 协商调解：

   • 在警方介入后，可以尝试与对方进行协商调解，看是否能够达成赔偿协议。
   • 协商过程中，保持冷静和理性，明确自己的诉求和底线，同时考虑对方的实际情况和承受能力。

4. 提起诉讼：

   • 如果协商调解无果，您可以向人民法院提起民事诉讼，要求对方承担赔偿责任。
   • 在诉讼过程中，您需要提供充分的证据来证明对方的过错以及您因此遭受的损失。法院将根据事实和法律规定作出判决，要求对方履行赔偿义务。

额外建议：

• 在处理此类事故时，务必保持冷静和克制，避免与对方发生冲突或争执。
• 如果可能的话，尽量在事故现场就报警并等待警方到来，以避免后续处理中的麻烦和不确定性。
• 如果您对法律程序不熟悉或感到困惑，可以随时向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。