在您描述的情况下，最终谁需要承担责任，取决于多种因素，不能简单地一概而论。以下是从不同角度进行的分析：
组织者的责任：
- 作为打电话叫人去喝酒的组织者，您在一定程度上对参与者的安全负有注意义务。这包括在饮酒过程中提醒参与者适量饮酒，以及在参与者出现醉酒或不适时采取合理的照顾措施。
- 如果您未尽到上述注意义务，且该未尽义务与参与者的摔死之间存在因果关系，那么您可能需要承担一定的法律责任。这种责任可能是民事上的赔偿责任，具体取决于摔死的原因和您的过错程度。
参与者的自身责任：
- 参与者作为成年人，应当对自己的行为负责。如果摔死是由于参与者自身醉酒后不当行为（如独自离开、攀爬等）导致的，那么参与者自身应承担主要责任。
- 在这种情况下，即使您作为组织者有一定的注意义务，但如果您已经尽到了合理的照顾措施，且摔死与您的行为无直接因果关系，那么您可能不需要承担法律责任。
其他相关因素：
- 摔死的具体原因也是判断责任的重要因素。如果摔死是由于场地设施存在安全隐患、他人故意或过失行为等导致的，那么责任可能应由相关责任方承担。
- 此外，如果参与者之间存在相互劝酒等行为，且该行为与摔死之间存在因果关系，那么劝酒者也可能需要承担一定的法律责任。
法律建议：
- 在处理此类纠纷时，建议首先收集相关证据，如现场照片、视频、证人证言等，以证明您是否尽到了合理的注意义务。
- 同时，建议与摔死者的家属进行协商，尝试通过和解的方式解决纠纷。如果协商无果，可以考虑通过法律途径解决，但在此之前应咨询专业律师以了解具体的法律程序和可能面临的法律后果。
可能面临的法律后果：
- 如果法院认定您作为组织者未尽到合理的注意义务，且该未尽义务与摔死之间存在因果关系，那么您可能需要承担一定的民事赔偿责任。赔偿范围可能包括摔死者的医疗费、丧葬费、死亡赔偿金等。
- 在极端情况下，如果您的行为构成犯罪（如过失致人死亡罪），那么您还可能面临刑事责任的追究。但这种情况较为罕见，且需要满足严格的构成要件。
总结：在您描述的情况下，谁需要承担责任取决于多种因素，包括组织者的注意义务、参与者的自身行为以及其他相关因素。因此，无法简单地给出“谁负责任”的结论。如果您面临此类纠纷，建议尽快咨询专业律师以获取具体的法律建议和帮助。