建房时工人摔伤，主家（房主）是否有责任，需根据具体情况来判断，不能一概而论。以下从不同法律关系和责任认定角度进行详细分析：
一、雇佣关系下的责任认定
一般情况：
- 若房主直接雇佣工人建房，双方形成雇佣关系。根据《中华人民共和国民法典》第一千一百九十二条第一款，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。这意味着，如果工人在施工过程中摔伤，房主作为雇主，通常需要承担一定的赔偿责任。
工人有过错：
- 若工人对损害存在故意或重大过失（如违反安全规范操作、未采取安全防护措施等），可以减轻房主的赔偿责任。例如，工人明知二楼支架不稳固仍冒险作业，导致摔伤，此时工人自身应承担一定责任。
二、承揽关系下的责任认定
定作人无过错：
- 若房主将建房工程承揽给有资质的建筑施工企业或工匠，双方形成承揽关系。根据《中华人民共和国民法典》第一千一百九十三条，承揽人在完成工作过程中造成第三人损害或者自己损害的，定作人不承担侵权责任。这意味着，如果工人是承揽人雇佣的，且房主在选任、指示或定作过程中无过错，房主一般不承担赔偿责任。
定作人有过错：
- 若房主在选任、指示或定作过程中有过失（如选任无资质施工队伍、未提供安全施工条件等），应承担相应赔偿责任。例如，房主明知包工头无建筑资质仍将工程发包给他，导致工人在施工过程中摔伤，此时房主应承担一定责任。
三、特殊情形下的责任认定
- 第三人侵权：
- 如果工人是因第三人的行为造成损害的（如其他工人违规操作导致支架倒塌），工人有权请求第三人承担侵权责任，同时也有权请求房主或承揽人给予补偿。房主或承揽人补偿后，可以向第三人追偿。
四、实际操作建议
明确法律关系：
- 在建房前，房主应明确与工人或承揽人之间的法律关系，通过签订书面合同来界定责任范围。合同中应明确双方的权利和义务，包括安全保障措施、赔偿责任等。
审查资质：
- 房主应仔细审查承包工程主体是否具备相应的建造资质，可查看包工团队的营业执照、相关建筑资质证书等。避免将工程发包给无资质或资质不符的施工队伍。
安全保障：
- 在施工过程中，房主需对施工环境安全及施工中的危险行为尽到相应的监督和提示义务。例如，设置明显的安全警示标志、提供必要的安全防护用品等。
购买保险：
- 购买相关保险也是降低风险的有效手段。例如，为工人购买工伤保险或意外伤害保险，以便在发生事故时能够及时获得赔偿。
举例说明：
- 假设房主赵某将两层自建房工程承包给无资质的包工头郑某，郑某雇佣关某为工地和灰、掂砖。在务工过程中，关某不慎从二楼摔落导致受伤。此时，赵某作为定作人，在选任上存在过失，应承担一定赔偿责任；郑某作为接受劳务一方，未尽到安全保障义务，也应承担赔偿责任；关某作为完全行为能力人，未采取安全防护措施致使自己受伤，也应承担相关责任。法院可能根据各方过错程度，判决赵某、郑某和关某分别承担一定比例的赔偿责任。
总结与建议：
建房时工人摔伤，主家（房主）是否有责任，需根据双方的法律关系、过错程度以及具体案情来判断。为避免纠纷和降低风险，建议房主在建房前明确法律关系、审查资质、加强安全保障并购买相关保险。一旦发生事故，应及时协商沟通调解，争取在诉讼之前解决问题。如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。