在农村建房时意外摔死人的责任归属，需要根据具体情况来分析。下面我将从几个不同的角度进行阐述：
雇主责任：
- 如果摔死的人是建房工地的工人，且雇主（通常是房主或承包人）与工人之间存在雇佣关系，那么根据《中华人民共和国民法典》关于侵权责任的相关规定，雇主可能需要承担赔偿责任。雇主应当为工人提供必要的安全生产条件，如果未能做到，导致工人死亡的，雇主应承担相应的侵权责任。
施工方责任：
- 如果建房工程是由专业的施工方承包的，且摔死的人是施工方的员工或雇佣的工人，那么施工方作为雇主，同样需要承担上述的雇主责任。
- 此外，如果施工方在施工过程中存在违反安全生产规定、违规操作等行为，导致事故发生的，施工方还可能需要承担因此产生的行政责任甚至刑事责任。
第三人责任：
- 如果摔死的人并非建房工地的工人，而是由于第三人的过错（如过路行人、其他无关人员等）导致摔死的，那么根据过错原则，该第三人可能需要承担赔偿责任。
受害人自身责任：
- 如果摔死的人是由于自身疏忽、不注意安全等原因导致摔死的，那么受害人自身也可能需要承担一定的责任。在这种情况下，其他责任方可能会根据受害人的过错程度来减轻自己的赔偿责任。
综上所述，农村建房时意外摔死人的责任归属需要根据具体情况来分析，可能涉及雇主责任、施工方责任、第三人责任以及受害人自身责任等。在处理这类纠纷时，建议各方保持冷静，及时收集证据，并咨询专业律师以获取更具体的法律建议。如果您在这方面有任何疑问或需要进一步的法律帮助，请随时向我提问。