结论：工厂是否需要负责不能一概而论，需分情况讨论，主要取决于员工与工厂的劳动关系性质以及摔伤是否符合工伤认定条件等因素。以下是具体分析：
- 若员工与工厂构成劳动关系
- 从工伤保险角度：根据《工伤保险条例》规定，中华人民共和国境内的企业、事业单位、社会团体、民办非企业单位、基金会、律师事务所、会计师事务所等组织和有雇工的个体工商户应当依照本条例规定参加工伤保险，为本单位全部职工或者雇工缴纳工伤保险费。工厂未给员工买保险属于违法行为。
- 从工伤认定角度：员工在下班途中摔伤，若符合《工伤保险条例》第十四条第六项“在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的”情形，应当认定为工伤。此时，虽然工厂未买保险，但根据《工伤保险条例》第六十二条，依照本条例规定应当参加工伤保险而未参加工伤保险的用人单位职工发生工伤的，由该用人单位按照本条例规定的工伤保险待遇项目和标准支付费用。也就是说工厂需要承担员工因工伤产生的医疗费、停工留薪期工资等各项工伤待遇费用。
- 若不符合工伤认定情形：如果员工下班途中摔伤不属于上述规定的工伤情形，比如是自己不小心摔倒，且不存在他人侵权等特殊情况，那么工厂一般不需要承担因摔伤产生的医疗费等直接损失的赔偿责任。但如果工厂在安全管理等方面存在过错，例如工厂要求员工加班到很晚，导致员工下班途中因疲劳而摔伤，工厂可能需要承担一定的过错赔偿责任。
- 若员工与工厂构成劳务关系
- 一般侵权责任角度：根据《中华人民共和国民法典》第一千一百六十五条规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。如果员工在提供劳务过程中下班途中摔伤，要看工厂是否存在过错。例如工厂提供的劳动环境存在安全隐患，导致员工下班时因该隐患而摔伤，工厂可能需要承担相应的赔偿责任；如果员工摔伤完全是自身原因导致，与工厂无关，那么工厂一般不需要承担赔偿责任。
- 公平责任角度：根据《中华人民共和国民法典》第一千一百八十六条规定，受害人和行为人对损害的发生都没有过错的，依照法律的规定由双方分担损失。在某些特殊情况下，即使工厂和员工对摔伤都没有过错，法院也可能根据公平原则，酌情让工厂分担一部分损失。