结论：您是否需要承担责任，取决于您与老板及工人之间的法律关系、您是否存在过错以及过错与工人死亡之间的因果关系等多个因素。以下从不同角度为您详细分析：
一、法律关系角度
如果您与老板之间是承揽合同关系：
- 分析：承揽合同是承揽人按照定作人的要求完成工作，交付工作成果，定作人支付报酬的合同。在此情况下，您作为定作人，一般对承揽人（老板）在完成工作过程中造成的第三人损害不承担赔偿责任。但是，如果定作人对定作、指示或者选任有过失的，应当承担相应的赔偿责任。
- 建议：您需要审查自己是否存在对定作、指示或者选任的过失，例如是否选择了不具备相应资质或安全条件的老板进行施工。
如果您与工人之间存在直接雇佣关系（尽管这种情况较少见，但理论上存在）：
- 分析：根据《中华人民共和国民法典》的相关规定，雇主对雇员在从事雇佣活动中遭受的人身损害承担赔偿责任。但如果是因雇员自身故意或重大过失造成的损害，雇主可以减轻或免除赔偿责任。
- 建议：您需要确认自己与工人之间是否存在直接的雇佣关系，并审查工人死亡是否与其自身故意或重大过失有关。
二、过错与因果关系角度
如果您存在过错：
- 分析：无论您与老板或工人之间是何种法律关系，如果您在施工过程中存在过错，例如未提供必要的安全条件、未进行必要的安全教育或指示等，且该过错与工人的死亡存在因果关系，那么您可能需要承担相应的赔偿责任。
- 建议：您需要审查自己在施工过程中是否存在过错，并评估该过错与工人死亡之间的因果关系。
如果您不存在过错：
- 分析：如果您在施工过程中已经尽到了合理的安全保障义务，且工人的死亡是由于其自身原因或不可抗力等因素造成的，那么您一般不需要承担赔偿责任。
- 建议：您需要收集相关证据证明自己已经尽到了合理的安全保障义务，例如提供安全培训记录、现场安全措施照片等。
三、特殊情况考虑
- 如果工人属于工伤：
- 分析：如果工人与老板之间存在劳动关系，且工人的死亡被认定为工伤，那么老板需要承担工伤保险责任。而您作为发包方，如果未对承包方的安全生产条件进行审查或未尽到相应的监督义务，也可能需要承担一定的连带责任。
- 建议：您需要确认工人与老板之间是否存在劳动关系，并了解工人的死亡是否被认定为工伤。
进一步建议：
- 收集证据：无论您是否需要承担责任，都建议您尽快收集与施工过程相关的所有证据，包括合同、安全培训记录、现场照片、证人证言等。
- 咨询专业意见：由于劳动纠纷和合同纠纷涉及复杂的法律关系和证据规则，建议您在处理此类问题时咨询专业律师的意见，以便更好地维护自己的合法权益。
最后，如果您有任何具体的法律问题或需要进一步的法律帮助，请随时向我咨询，我会根据您的具体情况提供详细的法律建议。