您是否需要承担责任，需根据具体情况来判断，可能涉及多种责任主体和情形。以下是对此问题的详细分析：
若您与工人存在劳动关系：
- 根据《工伤保险条例》，若工人因工作受伤，应认定为工伤。此时，若您已依法为工人缴纳工伤保险，则由工伤保险基金支付医疗费、伤残补助等费用；若未缴纳，则需由您自行承担全部赔偿责任。
- 举例：若您经营一家建筑公司，未为工人购买工伤保险，工人在施工时坠落受伤并被认定为工伤，那么您需全额赔偿医疗费及伤残补助金。
若您与工人不存在劳动关系，而是雇佣关系：
- 在这种情况下，若工人因工作受伤，您可能需承担雇主责任，具体赔偿项目包括医疗费、误工费、护理费等。但若工人故意违反安全规程导致受伤，如未佩戴防护装备，可能需自担部分责任。
- 举例：您雇佣了一名临时工进行建筑工作，未提供必要的安全防护装备，导致工人在工作时摔伤。在此情况下，您需承担一定的赔偿责任，但若工人明知应佩戴防护装备却未使用，则可能减轻您的责任。
若存在第三方责任：
- 若工人的摔伤是由第三方的过失行为所致，如设备缺陷（脚手架坍塌）、其他单位施工干扰等，那么该第三方也应承担相应责任。您可以根据具体情况向设备供应商、侵权方等索赔。
- 法律依据：根据《中华人民共和国民法典》第一千二百零三条，因产品存在缺陷造成他人损害的，被侵权人可以向产品的生产者请求赔偿，也可以向产品的销售者请求赔偿。
若涉及混合责任：
- 在多方过错导致事故的情况下，责任可能按过错比例分担。例如，若工人违规操作与设备老化共同导致摔伤，法院可能判定您与工人各负一定比例的责任。
针对您的情况，我给出以下建议：
- 及时报案与工伤认定：事故发生后，您应及时向相关部门报案，并配合调查工作。同时，若您与工人存在劳动关系，应在规定时间内向劳动保障部门提出工伤认定申请；若未申请，工人或其近亲属可在1年内自行提出申请。
- 保留证据：您应妥善保存与事故相关的证据，如现场照片、视频、目击证人证言等，以及工人的医疗诊断证明、病历、缴费凭证等医疗相关证据，以便后续维权使用。
- 协商与诉讼：首先尝试与工人或其家属协商解决赔偿问题；协商不成时，可向劳动争议仲裁机构申请仲裁；对仲裁结果不服的，可向法院提起诉讼。
风险防范建议：
- 依法缴纳社保：为您雇佣的工人依法缴纳社会保险，特别是工伤保险，以降低赔付风险。
- 加强安全培训：定期为工人提供安全培训，确保他们了解并遵守安全规程，正确使用防护用具。
- 定期检修设备：对建筑工地的设备进行定期检修和维护，确保设备处于良好状态，减少事故风险。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。