货主是否有责任，主要取决于其是否存在过错。以下是对此问题的详细分析：
货主无责任的情况
正常下货且无过错：
- 如果货主与货车司机之间是正常的运输合同关系，货主在下货过程中没有进行不当的指示或干预，且货车司机在操作过程中存在疏忽或违规行为导致撞到房子，那么货主通常对事故的发生没有直接责任。
- 法律依据：《中华人民共和国民法典》第一千二百零九条规定，机动车发生交通事故造成损害，属于该机动车一方责任的，由机动车使用人承担赔偿责任；机动车所有人、管理人对损害的发生有过错的，承担相应的赔偿责任。在此情况下，货主作为非使用人且无过错，不需承担赔偿责任。
承运人责任：
- 如果货主与承运人（如货车司机或运输公司）之间形成了运输合同关系，承运人负责将货物安全运输至指定地点并完成下货。若承运人在下货过程中因自身原因导致撞到房子，那么承运人需向货主或其他受损方承担相应的赔偿责任，但这与货主本身无关。
货主可能承担责任的情况
指示或干预过错：
- 如果货主在下货过程中对货车司机进行了不当的指示或干预（如强令在危险地点下货、未提供安全的下货环境等），导致货车在操作过程中撞到房子，那么货主需承担相应的责任。
- 这种不当指示行为与事故的发生存在因果关系，货主应承担相应的赔偿责任。
货物堆放或固定问题：
- 如果货物在货车上的堆放或固定方式存在安全隐患，且这种隐患与事故的发生有直接关联（如货物未固定好导致在下货过程中滑落撞到房子），而货主作为货物的所有者或管理者未尽到合理的注意义务，那么货主也可能需承担一定的责任。
货主责任的处理方式
- 若货主有过错：需承担相应的赔偿责任，应主动与受损方协商赔偿事宜，以减轻法律后果。
- 若无过错：则无需担责，但应配合相关部门的调查工作，提供必要的信息和协助。
总结与建议：
货主是否有责任，需结合具体情况判断。如果货主在下货过程中没有过错，且没有进行不当的指示或干预，那么通常无需承担责任。但如果货主存在过错行为，如不当指示、干预或未尽到合理的注意义务等，那么可能需要承担相应的赔偿责任。
建议货主在下货过程中保持谨慎，确保操作安全，并尽量避免对货车司机进行不当的指示或干预。如果发生事故，应及时与相关部门和受损方沟通，并配合调查工作。如果有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。