结论：在您描述的情况下，事故责任的具体划分需要综合考虑多种因素，包括但不限于您的行为是否违反交通规则、对方的行为是否合理以及是否存在其他影响责任划分的情形。一般来说，如果您的行为存在过错，如未注意观察路况、未保持安全车速等，那么您可能需要承担一定的责任。但如果对方也存在过错，如突然改变行走方向、未走人行道等，那么责任可能会根据双方过错的程度进行分担。
分析说明：
您的行为分析：
- 您在行走过程中不小心撞到了对方，这通常意味着您可能未充分注意路况或未保持足够的警觉性。
- 如果您是在违反交通规则的情况下行走（如横穿马路未走人行横道、未按照交通信号灯指示行走等），那么您的行为可能构成过错，需要承担相应的责任。
对方的行为分析：
- 对方在路上走过去又退回来，这一行为本身可能并不构成过错，但如果其退回来时未注意观察周围环境，或者突然改变行走方向导致您无法及时避让，那么对方也可能存在一定的过错。
- 如果对方是在人行道上行走，且其行为符合交通规则，那么对方可能无需承担责任。
责任划分原则：
- 根据《中华人民共和国道路交通安全法》及相关规定，交通事故的责任划分通常基于双方行为的过错程度。
- 如果一方存在过错，而另一方无过错，那么过错方通常需要承担全部责任。
- 如果双方都存在过错，那么责任会根据双方过错的程度进行分担。
特殊场景：
- 如果事故发生在人行横道或交通信号灯控制的路口，且您未按照交通信号灯指示行走或未礼让行人，那么您可能需要承担更大的责任。
- 如果对方是儿童、老人或行动不便的人，且您未给予足够的注意和避让，那么您也可能需要承担更大的责任。
行动建议：
- 立即报警：在发生事故后，应立即报警并等待交警到来处理。交警会根据现场情况、证人证言等证据来划分责任。
- 保留证据：如果可能的话，应保留现场照片、视频等证据，以便后续处理事故时使用。
- 协商解决：如果事故责任明确且双方无争议，可以尝试协商解决赔偿事宜。但如果协商不成或责任存在争议，建议通过法律途径解决。
后续思考依据：
- 在处理此类事故时，交警的调查报告和责任认定书是关键证据。它们会详细记录事故发生的时间、地点、双方行为以及责任划分等关键信息。
- 如果对交警的责任认定有异议，可以在规定时间内向上一级公安机关交通管理部门提出复核申请。
如有任何进一步的问题或需要更详细的法律建议，请直接向我咨询。