核心结论：这种情况的责任判定需结合具体证据和现场情况，但根据你描述的情形，初步分析可能存在以下两种责任认定方向，具体需以交警调查结果为准。

1. 若对方倒车存在过错，且能证明你未察觉事故发生

根据《道路交通安全法实施条例》第五十条，倒车时应当察明车后情况，确认安全后倒车。若对方倒车时未履行观察义务（如未打转向灯、未注意后方来车等），导致碰撞你的车辆侧面，对方通常需承担主要或全部责任。
你的“离开现场”行为若能证明是“未察觉事故”（如无逃逸主观故意、车辆无明显损伤未发现异常等），一般不构成交通肇事逃逸，不会因此加重你的责任。但需注意：若对方能提供证据（如行车记录仪、监控）证明你“应当发现事故却离开”（如碰撞声音明显、车辆损伤明显），可能引发争议，需结合具体证据判断。

2. 若你存在过错（如超速、未保持安全距离等），可能承担次要责任

若交警调查发现你在直行时存在违法行为（如超速、未与前车保持安全距离等），即使对方倒车有过错，你也可能因未尽安全驾驶义务被认定承担次要责任。例如：若你因车速过快无法及时避让倒车车辆，或未保持足够安全距离导致无法制动，可能被认定对事故发生有一定过错。

关键建议：

1. 立即联系交警：尽快向交警部门报案，说明事故情况（时间、地点、对方车辆信息等），配合调查。交警会通过现场勘查、监控、行车记录仪等证据还原事故经过，这是责任认定的核心依据。
   
2. 保留证据：若你的车辆有行车记录仪，保存碰撞前后的视频；若现场有目击者，记录联系方式；拍摄车辆损伤照片（尤其是侧面碰撞部位）。这些证据能帮助交警更准确判断责任。
   
3. 勿主动认责：在责任认定书出具前，避免与对方私下协商责任比例，以免后续纠纷。
   

总结：责任认定需以交警调查为准，但根据你描述的情形，若对方倒车过错明显且你能证明未察觉事故，对方大概率负主责；若你存在过错，可能承担次责。建议尽快配合交警处理，维护自身权益。如有其他细节（如是否有人员受伤、车辆损伤程度等），可进一步补充说明，我会帮你更具体分析。