在自建房干活人摔死的情况下，责任归属需根据具体情况来判断，可能涉及多个责任主体。以下是对此问题的详细分析：
房主或建设单位的责任：
- 如果房主或建设单位与死者之间存在雇佣关系，根据《中华人民共和国民法典》第一千一百九十二条，个人之间形成劳务关系，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。这意味着，如果房主或建设单位在安全管理、提供安全设施等方面存在过错，导致死者摔死，那么房主或建设单位需承担相应的赔偿责任。
- 如果房主或建设单位将工程发包给不具备相应资质的单位或个人，根据相关法律规定，房主或建设单位也可能需承担一定的连带责任。
施工单位的责任：
- 如果死者是在为施工单位工作时摔死，且施工单位未尽到安全管理义务，如未提供安全防护措施、未进行安全教育培训等，那么施工单位需承担赔偿责任。
- 根据《中华人民共和国安全生产法》等相关法律法规，施工单位有义务确保施工现场的安全，防止事故发生。如果施工单位违反这些义务，导致人员伤亡，将面临法律责任。
死者的自身责任：
- 如果死者自身存在过错，如未遵守安全操作规程、未佩戴安全防护装备等，导致摔死事故的发生，那么死者自身也需承担一定的责任。
- 在确定赔偿责任时，法院会根据双方的过错程度来划分责任比例。
其他可能责任人的责任：
- 如果事故是由于第三方的原因造成的，如其他施工人员的故意或过失行为、设备故障等，那么第三方也可能需承担相应的赔偿责任。
法律建议：
- 在处理此类事故时，首先应立即报警并保护现场，以便相关部门进行调查和取证。
- 房主、建设单位或施工单位应积极配合调查，提供必要的证据和资料。
- 死者家属可以与相关责任方进行协商，寻求赔偿。如果协商不成，可以向法院提起诉讼，要求相关责任方承担赔偿责任。
- 在诉讼过程中，建议死者家属咨询专业律师，以便更好地维护自身权益。
可能法律后果：
- 如果相关责任方被认定存在过错，将需承担相应的赔偿责任，包括医疗费、丧葬费、死亡赔偿金等。
- 如果事故涉及刑事犯罪，如过失致人死亡罪等，相关责任方还可能面临刑事处罚。
综上所述，自建房干活人摔死的责任归属需根据具体情况来判断。在处理此类事故时，建议死者家属及时咨询专业律师，以便更好地了解自身权益和维权途径。如果你有任何法律问题，可以直接向我咨询，我会为你提供专业的法律意见。