您是否需要承担责任，主要取决于您与摔伤者之间的法律关系以及您是否尽到了相应的安全保障义务。以下从不同角度为您详细分析：
一、若您与摔伤者之间构成雇佣关系
法律责任：
- 根据《中华人民共和国民法典》第一千一百九十二条，个人之间形成劳务关系，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。
- 如果您作为雇主，未提供安全的施工环境或未采取必要的安全措施，导致摔伤者从梯子上摔下，您可能需要承担一定的赔偿责任。
具体情形：
- 如果您明确指示摔伤者进行高空作业，但未提供安全带、安全网等防护措施，或者梯子存在安全隐患，您可能因未尽到安全保障义务而承担较大责任。
- 如果摔伤者自身存在过错，如未按照您的指示操作、未使用安全防护措施等，您可能根据过错程度减轻或免除赔偿责任。
二、若您与摔伤者之间构成承揽关系
法律责任：
- 根据《中华人民共和国民法典》第一千一百九十三条，承揽人在完成工作过程中造成第三人损害或者自己损害的，定作人不承担侵权责任。但是，定作人对定作、指示或者选任有过错的，应当承担相应的责任。
- 如果您作为定作人，在选任承揽人时未尽到合理的审查义务，如选择无资质或经验不足的承揽人，或者对承揽人的工作指示存在过错，您可能需要承担一定的赔偿责任。
具体情形：
- 如果您选任的承揽人具备相应的资质和经验，且摔伤是由于承揽人自身过错导致的，您可能不承担赔偿责任。
- 如果您选任的承揽人无资质或经验不足，或者您对承揽人的工作指示存在明显过错，您可能因选任或指示过错而承担一定责任。
三、若您与摔伤者之间无明确法律关系，但您存在过错
法律责任：
- 如果您虽然未直接雇佣或承揽摔伤者，但您对摔伤者的摔伤存在过错，如提供了存在安全隐患的梯子、未提醒摔伤者注意安全等，您可能因过错而承担一定的赔偿责任。
具体情形：
- 如果您提供的梯子存在明显缺陷或安全隐患，且您未告知摔伤者，导致摔伤者在使用过程中摔下，您可能因提供瑕疵工具而承担责任。
- 如果您明知摔伤者未采取安全防护措施而未提醒，导致摔伤者摔下，您可能因未履行提醒义务而承担一定责任。
四、建议与措施
收集证据：
- 尽快收集与摔伤事件相关的证据，如现场照片、视频、证人证言等，以证明您是否尽到了安全保障义务。
协商与调解：
- 在摔伤者伤情稳定后，尝试与摔伤者或其家属进行协商，寻求和解或调解解决纠纷。
法律途径：
- 如果协商或调解无果，摔伤者或其家属可能选择通过法律途径解决纠纷。此时，您应积极应诉，并委托专业律师进行辩护。
总结来说，您是否需要承担责任取决于您与摔伤者之间的法律关系以及您是否尽到了相应的安全保障义务。在处理此类纠纷时，建议您保持冷静、收集证据，并寻求专业律师的帮助以维护自己的合法权益。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。