针对您开车时后视镜碰到行人后离开，五天后去交通队自首，但受伤方并未报警的情况，以下是我为您提供的详细解答：
一、法律责任分析
交通肇事逃逸的认定：
- 交通肇事逃逸通常指的是在发生交通事故后，为逃避法律追究而逃跑的行为。若您当时确实未察觉到碰撞的发生，那么您可能缺乏逃避法律追究的故意，这种情况下一般不认定为逃逸。但如果您明知发生了事故却选择离开，那么这将构成逃逸行为。
可能的法律后果：
- 行政处罚：根据《中华人民共和国道路交通安全法》的相关规定，造成交通事故后逃逸，尚不构成犯罪的，可能会面临二百元以上二千元以下的罚款，并可能并处十五日以下的拘留。
- 刑事责任：如果事故造成了严重后果，如致人重伤、死亡或重大财产损失，并且您因逃逸被查获，那么根据《中华人民共和国刑法》的相关规定，您可能会面临三年以上七年以下有期徒刑的刑事处罚。
二、应对措施建议
主动投案自首：
- 您已经选择了去交通队自首，这是非常正确的做法。在自首时，请如实陈述事故的发生经过，表明您的悔过态度，这有助于减轻您的法律责任。
配合事故处理与调查：
- 接受交通管理部门的调查，提供必要的证据和信息，如车辆行驶记录、保险信息等。
- 如实陈述事故经过，并配合交通管理部门调取监控录像、询问目击者等工作，以协助查明事故真相。
承担民事赔偿责任：
- 尽管受伤方未报警，但您仍应主动了解行人的受伤情况，并积极支付医疗费用等合理损失。
- 如果行人受伤严重，您需要配合治疗，并承担伤残赔偿、误工费、护理费等多项费用。
- 及时联系您的保险公司报案，并协助其完成理赔程序，确保受害者能够得到及时的赔偿。
与受害者协商：
- 主动与受害者或其家属进行协商，就赔偿事宜达成一致意见，以避免可能的诉讼纠纷。
- 如果协商不成，您应做好应诉准备，并配合法院的审理工作。
三、额外建议
- 增强法律意识：在未来的驾驶过程中，请务必增强法律意识，遵守交通规则，确保行车安全。
- 保持警惕：驾驶时要时刻保持警惕，注意观察周围环境，避免类似事故的再次发生。
综上所述，您已经采取了正确的措施去交通队自首。接下来，请积极配合交通管理部门的调查和处理工作，并承担相应的民事赔偿责任。同时，也请您增强法律意识，保持警惕，确保未来的行车安全。