是否需要负责，取决于多个因素，包括垃圾的位置、摔倒者的行为以及你踢到垃圾时的具体情况等。以下是对此问题的详细分析：

1. 如果你踢到的垃圾原本就放置在不当位置，且你踢到垃圾时并未注意到或无法避免，而摔倒者是因为自己的疏忽或不当行为而摔倒：

   • 在这种情况下，你可能不需要承担侵权责任。因为摔倒者的摔倒主要是由于其自身的疏忽或不当行为所致，与你的行为没有直接的因果关系。

2. 如果你踢到的垃圾原本放置在合理位置，但由于你的过失或不当行为（如随意踢踹）导致垃圾移位，进而造成摔倒者摔倒：

   • 在这种情况下，你可能需要承担一定的侵权责任。因为你的过失或不当行为是导致摔倒者摔倒的原因之一，你应当对自己的行为承担相应的责任。

3. 特殊情况的考虑：

   • 如果摔倒者是未成年人、老年人或身体有障碍的人士，且你的行为在一定程度上增加了他们摔倒的风险，那么即使你的行为不是直接导致摔倒的唯一原因，你也可能需要承担一定的责任。
   • 如果摔倒者因此受到了严重的身体伤害或财产损失，且你的行为与之有直接的因果关系，那么你可能需要承担更重的侵权责任，包括赔偿摔倒者的损失等。

综上所述，是否需要负责取决于具体的情况和证据。如果你对此类问题存在疑虑或担忧，建议咨询专业律师以获取更准确的法律意见。作为李世杰律师，我专注于刑事辩护、律师会见、取保候审、合同纠纷、侵权纠纷等领域，如有需要，可直接向我提问。