结论：在此情况下，你是否需要承担责任，取决于多个因素，包括你的行为是否构成正当防卫、防卫是否过当，以及对方受伤的具体情况等。以下从不同角度进行分析：

1. 正当防卫的角度：

   • 根据《中华人民共和国刑法》的相关规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果你在对方拿棍子打你的过程中，为了保护自己的人身安全而无意中将他摔成轻伤，且你的行为没有超过必要的限度，那么你的行为可能构成正当防卫，不需要承担刑事责任。
   • 关键点：判断你的行为是否构成正当防卫，需要看是否存在正在进行的不法侵害、你的行为是否是为了制止这种侵害、以及你的行为是否没有超过必要的限度。

2. 防卫过当的角度：

   • 如果你的行为虽然是为了制止对方的不法侵害，但超过了必要的限度，造成了对方不应有的伤害，那么你的行为可能构成防卫过当。在防卫过当的情况下，你可能需要承担一定的刑事责任，但通常会减轻或者免除处罚。
   • 关键点：判断防卫是否过当，需要综合考虑不法侵害的强度、防卫行为的必要性以及所造成的后果等因素。

3. 民事责任的角度：

   • 无论你的行为是否构成正当防卫或防卫过当，如果对方因此受到了人身伤害，他都有权要求你承担相应的民事赔偿责任。然而，在正当防卫的情况下，你可能不需要承担或只需承担部分赔偿责任；在防卫过当的情况下，你可能需要承担一定的赔偿责任，但具体数额会根据实际情况进行判定。
   • 关键点：民事赔偿责任的承担取决于多种因素，包括双方的过错程度、伤害后果的严重性以及是否存在其他减轻或加重责任的情形等。

4. 具体情境的分析：

   • 在你描述的情况下，对方拿棍子打你，你无意中将他摔成轻伤。如果这一行为是在对方正在进行不法侵害时发生的，且你的行为没有超过必要的限度，那么你很可能构成正当防卫，不需要承担刑事责任。然而，在民事赔偿方面，你可能需要根据实际情况与对方进行协商或接受法院的判决。
   • 建议：在这种情况下，我建议你尽快收集相关证据（如现场照片、视频、证人证言等），并咨询专业律师以获取更具体的法律建议。同时，你也可以考虑与对方进行和解，以避免不必要的法律纠纷。

后续行动建议：

• 保留所有与事件相关的证据，包括现场照片、视频、医疗记录等。
• 尽快咨询专业律师，以获取针对你具体情况的法律建议。
• 如果对方提出索赔要求，不要轻易承认责任或签署任何协议，除非你已经咨询了律师并得到了明确的指导。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。