结论：工人在下班后返回工地摔身亡，业主方是否有责任，需根据具体情况判断，主要看业主方是否存在过错以及该过错与工人死亡之间是否存在因果关系。以下从不同角度进行分析：
一、若业主方存在过错且过错与死亡存在因果关系
安全保障义务：
- 根据《中华人民共和国民法典》第一千一百九十八条，宾馆、商场、银行、车站、机场、体育场馆、娱乐场所等经营场所、公共场所的经营者、管理者或者群众性活动的组织者，未尽到安全保障义务，造成他人损害的，应当承担侵权责任。
- 工地虽非典型的公共场所，但若业主方对工地有管理职责，且未尽到合理的安全保障义务（如未设置警示标志、未修复危险区域等），导致工人摔身亡，业主方可能需承担相应责任。
雇佣关系或劳动关系：
- 如果工人与业主方存在雇佣关系或劳动关系，且工人是在下班后返回工地处理与工作相关的事务（如取工具、检查工作等）时摔身亡，业主方可能因未提供安全的工作环境或未尽到对员工的安全保护义务而承担责任。
- 这种情况下，可能需要考虑工伤认定的相关问题。但一般而言，工伤认定要求事故发生在工作时间和工作场所内，或者因工作原因受到事故伤害。下班后返回工地是否构成“因工作原因”，需根据具体情况判断。
二、若业主方不存在过错或过错与死亡无因果关系
工人自身原因：
- 如果工人摔身亡是由于自身疏忽、醉酒、故意等行为导致的，且业主方已尽到合理的安全保障义务，业主方通常不承担责任。
第三方原因：
- 如果工人摔身亡是由第三方（如其他工人、外来人员等）的行为导致的，且业主方对此无过错，业主方也不承担责任。但业主方可能需根据具体情况，协助工人或其家属向第三方追偿。
三、特殊情况考虑
- 工地性质：如果工地处于特殊状态（如停工、封闭等），且业主方已明确告知工人不得进入，工人仍擅自进入并摔身亡，业主方可能因已尽到告知义务而不承担责任。
- 证据收集：在判断业主方是否有责任时，证据的收集至关重要。包括现场照片、监控视频、证人证言等，都可能成为判断责任的关键依据。
建议：
- 对于工人或其家属而言，应尽快收集相关证据，并咨询专业律师，以便更准确地判断业主方是否有责任，并维护自身合法权益。
- 对于业主方而言，应加强工地的安全管理，设置明显的警示标志，及时修复危险区域，并加强对工人的安全教育，以减少类似事故的发生。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。