在工地上工人摔死，责任最大的一方需根据具体情况判断，但通常施工单位若未履行安全保障义务，可能承担主要责任。以下是对此问题的详细分析：
一、责任主体及划分
施工单位：
- 作为工程的实际建设者，施工单位对施工现场的安全负有主要责任。
- 若施工单位未履行安全保障义务，如未提供安全的施工环境、未对工人进行安全培训、未设置必要的安全防护措施等，导致工人摔死，施工单位应承担主要赔偿责任。
建设单位：
- 建设单位将工程发包给施工单位时，若存在选任过错，如未对施工单位的资质、安全记录等进行严格审查，也可能需承担相应责任。
- 但建设单位的责任通常小于施工单位，除非其过错直接导致了事故的发生。
总承包单位：
- 若工程存在分包情况，总承包单位对分包工程的安全生产也有管理责任。
- 若总承包单位因管理不善，如未对分包单位进行足够的安全监督、未及时发现并纠正分包单位的安全隐患等，导致事故发生，总承包单位应承担一定责任。
劳务分包单位：
- 如果存在劳务分包，劳务分包单位对劳务作业人员的安全负有直接责任。
- 若劳务分包单位未履行安全保障义务，如未对工人进行必要的安全教育、未提供符合安全标准的劳动保护用品等，导致工人摔死，劳务分包单位也应承担相应责任。
工人自身：
- 若工人自身存在违反安全规定、操作不当等行为，且该行为与事故发生有直接因果关系，工人自身也需承担一定责任。
- 但工人的责任通常较小，除非其过错是事故发生的直接原因。
第三方：
- 若涉及第三方原因，如设备供应商提供的设备存在质量问题、设计单位的设计存在缺陷等，第三方应根据其过错程度承担相应责任。
二、责任认定的法律依据
- 根据《工伤保险条例》及相关司法解释，用人单位（包括施工单位）应为其员工提供安全的劳动环境，并承担工伤保险责任。
- 若因用人单位的过错导致工人伤亡，用人单位应承担相应的赔偿责任。
- 同时，根据《民法典》等相关法律规定，因第三人的过错造成他人损害的，由第三人承担侵权责任。
三、建议与后续行动
- 立即报警并保护现场：发生事故后，应立即报警并保护好现场，以便后续调查取证。
- 进行工伤认定：若工人与用人单位存在劳动关系，应尽快向劳动保障行政部门申请工伤认定。
- 协商或诉讼：根据责任认定结果，各方可协商赔偿事宜。若协商不成，可向法院提起诉讼，通过法律途径解决争议。
- 加强安全管理：为避免类似事故再次发生，施工单位应加强安全管理，完善安全制度，提高工人安全意识。
若您对此类问题仍有疑问或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，提供更详细、更专业的法律建议。