施工单位工人意外死亡，施工单位是否有责任需根据具体情况判断，通常涉及多个责任主体，施工单位可能承担主要或连带责任。以下从不同角度详细分析：

一、施工单位直接责任

1. 安全措施不到位
   若施工单位未提供合格的安全防护设备（如安全带、安全帽）、未设置警示标志或围挡，或未对工人进行必要的安全培训，导致工人因设备故障、操作不当或环境危险死亡，施工单位需承担直接赔偿责任。
   例如：某工地因脚手架搭建不牢固坍塌，造成工人伤亡，施工单位因未履行安全保障义务被追责。

2. 违规操作或管理疏忽
   若施工单位强令工人冒险作业、压缩工期忽视安全措施，或未及时排查隐患，导致事故发生，施工单位需承担主要责任。
   法律依据：《中华人民共和国安全生产法》规定，生产经营单位需保障从业人员安全，违反规定造成事故的将依法追责。

二、其他相关方责任

1. 建设单位责任
   若建设单位存在强令赶工期、未足额支付安全文明施工费，或指定分包商资质不全等行为，导致施工单位为抢进度减少安全检查环节，进而引发事故，建设单位需与施工单位承担连带责任。
   例如：建设单位要求提前竣工，施工单位为赶工期未设置安全网，导致工人高空坠落身亡，建设单位需承担连带赔偿责任。

2. 监理单位责任
   若监理单位未及时发现并制止安全隐患（如对明显违规操作未予纠正），或对重大危险源未实施旁站监督，导致事故发生，监理单位需承担相应责任。
   例如：塔吊安装存在缺陷，监理未严格审查即签字通过，运行中倒塌伤人，监理单位需承担监督失职责任。

3. 劳务分包单位责任
   若事故由劳务分包单位自身管理问题引发（如使用无证人员从事特种作业、未依法签订劳动合同及购买工伤保险），该单位需独立承担责任。
   例如：分包单位雇佣的电工无证上岗，违规操作触电身亡，分包单位需承担全部赔偿责任。

4. 工人自身责任
   若工人因故意违反操作规程（如擅自拆除防护设施、醉酒作业）或未正确使用个人防护用品导致事故，需自行承担部分责任。但若用人单位同时存在重大过错（如未提供必要培训），可适当减轻工人责任比例。
   例如：工人在未佩戴护目镜的情况下进行切割作业，飞溅物致伤，若用人单位未提供护目镜且未培训，工人责任可减轻。

三、责任认定流程

1. 事故调查：安监部门牵头成立调查组，收集现场证据，区分直接原因（如设备故障）与间接原因（如管理漏洞）。
   
2. 责任划分：根据各方过错程度确定主次责任，常见多主体共同担责，具体比例由司法机关判定。
   
3. 法律救济：家属可通过工伤赔偿、民事诉讼等途径维权。若施工单位已缴纳工伤保险，大部分赔偿由工伤保险基金支付；若未缴纳，由施工单位按工伤保险待遇标准支付。

四、法律建议

1. 施工单位：应严格落实安全措施，定期排查隐患，加强工人安全培训，避免违规操作。
   
2. 家属：若发生工人意外死亡，应尽快收集证据（如现场照片、证人证言），通过法律途径维权，可要求施工单位、建设单位等承担赔偿责任。
   
3. 其他相关方：建设单位、监理单位等应履行法定职责，避免因疏忽或违规行为承担连带责任。

结论：施工单位工人意外死亡的责任认定需综合考量多方因素，通常以“谁行为、谁担责”为原则。实践中常见多主体共同担责，具体比例由司法机关根据过错大小判定。若您有进一步问题或需具体法律帮助，可直接向我咨询。