在违建施工过程中，若工人摔死，责任归属需根据具体情况来判定，主要涉及违建的所有人或管理人、施工方以及工人自身可能存在的过错等多个方面。以下是对此问题的详细分析：
违建的所有人或管理人责任：
- 法律依据：根据《中华人民共和国民法典》的相关规定，建筑物、构筑物或者其他设施倒塌、塌陷造成他人损害的，由建设单位与施工单位承担连带责任，但是建设单位与施工单位能够证明不存在质量缺陷的除外。在违建的情况下，虽然建筑本身违法，但违建的所有人或管理人仍需对因其建筑导致的损害承担一定责任。
- 分析：如果违建的所有人或管理人明知建筑存在安全隐患，如结构不稳、缺乏必要的安全防护措施等，却未采取相应措施进行整改或警示，导致工人摔死，那么他们应承担相应的赔偿责任。
施工方责任：
- 法律依据：施工方作为直接进行施工活动的主体，有义务确保施工过程中的安全。如果施工方未按照安全规范进行施工，如未提供必要的安全防护设备、未对工人进行安全培训等，导致工人摔死，那么施工方应承担主要责任。
- 分析：在违建施工中，施工方往往为了降低成本或赶工期而忽视安全规范，这种行为极易导致安全事故的发生。因此，施工方在违建施工中同样需要承担严格的安全责任。
工人自身过错：
- 法律依据：如果工人自身存在过错，如未按照安全规范进行操作、未佩戴安全防护设备等，导致自己摔死，那么工人自身也需要承担一定的责任。
- 分析：虽然工人是违建施工的受害者，但如果他们自身存在过错，那么这种过错也会影响到责任的归属。在判定责任时，需要综合考虑工人自身的过错程度以及其对事故发生的影响。
其他可能责任方：
- 分析：除了违建的所有人或管理人、施工方以及工人自身外，还可能存在其他责任方。例如，如果违建施工是在某个场地上进行，而该场地的出租方或管理方未尽到安全监管义务，导致事故发生，那么他们也可能需要承担一定的责任。
建议与后续行动：
- 立即报警并保护现场：在发生此类事故后，应立即报警并保护好现场，以便后续调查和取证。
- 收集证据：收集与事故相关的所有证据，包括现场照片、视频、证人证言等，以便在后续的法律程序中证明各方的责任。
- 咨询专业律师：由于此类事故涉及复杂的法律关系和责任归属问题，建议咨询专业律师以获取更详细的法律建议和帮助。
可能面临的法律后果：
- 民事赔偿：如果各方被判定需要承担责任，那么他们可能需要向受害者的家属支付民事赔偿，包括死亡赔偿金、丧葬费、精神损害抚慰金等。
- 行政处罚：对于违建的所有人或管理人以及施工方，如果他们的行为违反了相关法律法规，那么他们还可能面临行政处罚，如罚款、拆除违建等。
- 刑事责任：在极端情况下，如果违建施工导致严重后果，且相关责任方存在故意或重大过失，那么他们还可能面临刑事责任，如过失致人死亡罪等。
总之，在违建施工过程中，若工人摔死，责任归属需根据具体情况来判定。建议各方在事故发生后立即采取措施保护现场并收集证据，同时咨询专业律师以获取更详细的法律建议和帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。