结论：您作为工厂方，在工人于他人施工场所出事身亡的情况下，是否需要承担责任以及承担何种责任，主要取决于您与工人之间的法律关系、您是否存在过错以及过错程度，还有是否符合工伤认定的条件等多个因素。以下我将从不同角度为您详细分析。
一、法律关系角度
劳动关系：
- 如果工人与您之间存在正式的劳动关系，即签订了劳动合同，那么根据《工伤保险条例》的规定，工人在工作时间和工作场所内，因工作原因受到事故伤害的，应当认定为工伤。在此情况下，您作为用人单位，需要承担工伤保险责任，包括支付工伤赔偿金等。
- 法律依据：《工伤保险条例》第十四条：“职工有下列情形之一的，应当认定为工伤：（一）在工作时间和工作场所内，因工作原因受到事故伤害的；……”。
劳务关系：
- 如果工人与您之间是劳务关系，即未签订劳动合同，但工人按照您的要求提供了劳务，那么根据《民法典》的相关规定，您作为接受劳务的一方，如果因劳务造成他人损害的，由接受劳务一方承担侵权责任。但在此情况下，如果工人自身存在过错，如未按照安全规范操作等，可以减轻您的责任。
- 法律依据：《民法典》第一千一百九十二条：“个人之间形成劳务关系，提供劳务一方因劳务造成他人损害的，由接受劳务一方承担侵权责任。接受劳务一方承担侵权责任后，可以向有故意或者重大过失的提供劳务一方追偿。提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。”
二、过错程度角度
- 无论您与工人之间是劳动关系还是劳务关系，如果您在事故中存在过错，如未提供安全的工作环境、未进行必要的安全培训、未提供必要的安全防护措施等，那么您都需要根据过错程度承担相应的赔偿责任。
- 如果您已经尽到了合理的安全保障义务，且事故是由于工人自身的过错或不可抗力等因素导致的，那么您可能不需要承担赔偿责任或仅承担部分赔偿责任。
三、工伤认定角度
- 如果工人符合工伤认定的条件，即工作时间、工作场所、工作原因等要素都满足，那么无论您是否存在过错，都需要按照工伤保险的规定承担赔偿责任。
- 如果工人不符合工伤认定的条件，那么您可能需要根据劳务关系或侵权责任的相关规定来承担责任。
四、具体建议
- 及时报案：在事故发生后，您应立即向当地的安全生产监督管理部门和工伤保险机构报案，以便及时启动工伤认定程序。
- 配合调查：积极配合相关部门的事故调查工作，提供必要的证据和资料。
- 协商赔偿：在事故责任明确后，与工人家属协商赔偿事宜，尽量达成和解协议。
- 法律途径：如果协商不成，工人家属可能会通过法律途径来维护自己的权益，您应做好应诉准备，并寻求专业律师的帮助。
最后，由于每个案件的具体情况都不同，因此以上分析仅供参考。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况为您提供更详细的法律建议。