结论：在对方逆向停车，你撞上对方车辆后离开又返回的情况下，对方通常需要承担一定责任，但具体责任划分需综合考虑双方行为及实际情况。
一、对方逆向停车的责任
违反交通规则：逆向停车本身违反了《中华人民共和国道路交通安全法》中关于机动车停放的规定，即机动车应当在规定地点停放，且不得妨碍其他车辆和行人通行。因此，逆向停车方存在明显过错。
责任承担：
- 逆向停车方因违反停车规定，可能妨碍了车道车辆的正常通行，甚至影响了行车视线，从而增加了交通事故的风险。在这种情况下，逆向停车方通常需要承担一定责任。
- 如果逆向停车是导致碰撞事故的直接或主要原因，例如占用正常行驶车道导致你无法避让，那么逆向停车方可能需要承担主要责任。
二、你的责任
离开现场的影响：
- 你在撞上对方车辆后选择离开现场，这一行为可能被视为逃逸或未履行及时报警、保护现场的义务。根据相关规定，这可能会影响责任划分，甚至可能导致你承担部分责任。
- 然而，如果你后来返回现场并配合调查，这一行为可能会减轻你的责任。
行驶行为与避让措施：
- 即便对方逆向停车存在过错，但如果你的行驶速度过快、未保持安全车距、驾车时注意力不集中或未采取必要的避让措施等，也可能对事故的发生起到一定作用。在这种情况下，你可能需要承担部分责任。
三、责任认定流程
报警与勘查：
- 发生交通事故后，建议及时报警并通知保险公司。交警会到现场进行勘查，收集证据，包括现场照片、当事人陈述、证人证言、监控视频等。
责任认定：
- 交警会根据收集到的证据，依据《中华人民共和国道路交通安全法》及相关法律法规来确定双方的责任。最终的责任划分以交警出具的交通事故责任认定书为准。
复核申请：
- 如果对责任认定结果不服，当事人可以在规定的时间内（通常是收到认定书之日起三日内）向上一级公安机关交通管理部门提出书面复核申请。
四、法律建议
配合调查：
- 在事故发生后，务必配合交警的调查工作，如实陈述事故经过，提供必要的证据和信息。
保留证据：
- 尽可能保留与事故相关的证据，如现场照片、视频、证人联系方式等。这些证据在后续的责任认定和赔偿协商中可能起到关键作用。
及时咨询：
- 如果你对责任认定或赔偿问题有疑问，可以及时向我咨询。我会根据你的具体情况提供针对性的法律分析和建议。
总结：在对方逆向停车导致的事故中，责任划分需综合考虑双方行为及实际情况。逆向停车一方通常应承担一定责任，但具体责任比例还需根据双方过错程度及法律规定来确定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。