在亲兄弟互助建房过程中，若一方摔死，责任大小需根据具体情况来判断，无法直接断定谁的责任最大。以下是从不同角度进行的分析：
一、法律责任角度
过错责任原则：
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
- 在此情况下，若摔死的一方是由于另一方的过错（如未提供安全的工作环境、未采取必要的安全措施等）导致，则过错方需承担相应的法律责任。
- 若双方均无过错，但根据实际情况，一方对另一方的死亡存在法律上的因果关系（如共同危险行为等），则可能根据公平原则分担损失。
安全保障义务：
- 在建房过程中，各方应尽到合理的安全保障义务，确保工作场所的安全。
- 若因未尽到安全保障义务而导致事故发生，未尽义务方需承担相应的法律责任。
二、实际情况角度
工作分配与责任：
- 若在建房过程中，双方有明确的工作分配，且摔死的一方是在执行其分配的任务时发生意外，那么责任可能更多地与工作分配和具体执行情况有关。
- 例如，若一方负责高空作业但未采取安全措施，导致另一方摔死，则负责高空作业的一方可能需承担更大的责任。
共同行为与责任：
- 若双方共同参与某项危险行为（如共同攀爬、共同搬运重物等），且摔死的一方是在共同行为过程中发生意外，那么责任可能需要根据双方在共同行为中的过错程度来分担。
第三方因素：
- 若摔死是由于第三方因素（如设备故障、天气原因等）导致，且该第三方因素与双方均无关，则责任可能更多地与第三方有关。
- 但在此情况下，若双方未采取合理措施避免事故发生（如未检查设备安全性、未关注天气变化等），则可能仍需承担一定的责任。
三、建议与措施
及时报警与调查：
- 在事故发生后，应立即报警并保护现场，以便警方进行调查并确定事故原因。
- 警方调查结果将作为确定责任的重要依据。
协商与调解：
- 在事故发生后，双方应积极协商并寻求调解，以达成和解协议并避免法律纠纷。
- 若协商无果，可寻求第三方调解机构或法院的帮助。
法律咨询与诉讼：
- 若双方无法就责任分担达成一致意见，可咨询专业律师以了解自身权益和法律责任。
- 在必要时，可向法院提起诉讼以维护自身合法权益。
总结来说，在亲兄弟互助建房过程中若一方摔死，责任大小需根据具体情况来判断。建议双方在事故发生后积极协商、寻求调解，并在必要时咨询专业律师以了解自身权益和法律责任。若你有进一步的法律问题或需要更具体的法律建议，请直接向我咨询。