结论：是否承担责任需根据具体情况判断，主要取决于撞人行为与对方后续摔倒之间是否存在法律上的因果关系。以下从不同角度进行分析：
若撞人行为与对方摔倒存在直接因果关系
- 法律分析：根据《中华人民共和国民法典》侵权责任编的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。如果撞人行为直接导致对方身体失衡或受伤，进而引发后续摔倒，那么撞人者很可能需要承担相应的赔偿责任。
- 举例说明：假设你在行驶过程中不慎撞到了行人，导致其腿部受伤或身体失衡，随后该行人在试图站稳或行走时摔倒，造成了更严重的伤害。在这种情况下，你的撞人行为与对方的摔倒之间存在直接的因果关系，你应当承担相应的法律责任。
若撞人行为与对方摔倒不存在直接因果关系
- 法律分析：如果撞人行为并未直接导致对方身体受伤或失衡，而是对方在自行行走过程中因其他原因（如地面湿滑、自身疏忽等）摔倒，那么撞人者可能不需要承担赔偿责任。但需要注意的是，如果撞人行为在某种程度上增加了对方摔倒的风险（如撞人后未及时提醒或未提供必要的帮助），也可能需要承担一定的责任，这取决于具体情况和法院的判断。
- 举例说明：假设你撞到了行人，但对方表示没事并自行离开。随后，该行人在行走过程中因地面湿滑而摔倒。在这种情况下，你的撞人行为与对方的摔倒之间不存在直接的因果关系，你通常不需要承担赔偿责任。但如果撞人后你未提醒对方注意地面湿滑或未提供必要的帮助，导致对方摔倒的风险增加，那么你可能需要承担一定的责任。
特殊情况考虑
- 对方自身过错：如果对方在摔倒过程中存在自身过错（如故意或重大过失），如醉酒、故意挑衅等，那么这可能会减轻或免除撞人者的赔偿责任。
- 第三方因素：如果摔倒是由第三方因素（如其他车辆、行人、障碍物等）导致的，那么撞人者可能不需要承担全部或部分责任，具体取决于第三方因素与撞人行为之间的关联程度。
建议：
- 及时报警并保留证据：在发生交通事故后，应立即报警并保留相关证据（如现场照片、视频、证人证言等），以便后续处理。
- 协商与调解：如果双方对责任划分存在争议，可以尝试通过协商或调解的方式解决纠纷。
- 寻求法律帮助：如果纠纷无法通过协商或调解解决，建议寻求专业律师的帮助，以便更好地维护自己的合法权益。
后续行动：如果你对此事仍有疑问或需要进一步的法律帮助，请直接向我咨询，我将根据你的具体情况提供详细的法律建议。