结论：您是否需要承担责任，主要取决于您与工人之间的法律关系以及您在事故中是否存在过错。以下分情况详细说明：

1. 若您与工人之间是雇佣关系：

   • 法律关系：雇佣关系是指受雇人向雇佣人提供劳务，雇佣人支付相应报酬形成的权利义务关系。在此关系下，您作为雇主，对工人的工作活动负有一定的管理和监督职责。
   • 责任承担：如果工人在为别的施工队干活时发生事故，且该事故与您的工作安排或指示有关，或者您未尽到必要的安全保障义务，那么您可能需要承担一定的赔偿责任。具体责任大小会根据您的过错程度、工人的过错程度以及事故的具体情况等因素综合判断。
   • 法律依据：根据《中华人民共和国民法典》第一千一百九十二条：“个人之间形成劳务关系，提供劳务一方因劳务造成他人损害的，由接受劳务一方承担侵权责任。接受劳务一方承担侵权责任后，可以向有故意或者重大过失的提供劳务一方追偿。提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。”

2. 若您与工人之间是承揽关系：

   • 法律关系：承揽关系是承揽人按照定作人的要求完成工作，交付工作成果，定作人支付报酬的权利义务关系。在此关系下，您作为定作人，主要关注的是工作成果，而非工作过程。
   • 责任承担：如果工人在完成承揽任务过程中，为别的施工队干活时发生事故，且该事故与您无关（即您未指示或要求工人为别的施工队干活），那么您通常不需要承担赔偿责任。但是，如果您对定作、指示或者选任有过失的，应当承担相应的赔偿责任。
   • 法律依据：根据《中华人民共和国民法典》第一千一百九十三条：“承揽人在完成工作过程中造成第三人损害或者自己损害的，定作人不承担侵权责任。但是，定作人对定作、指示或者选任有过错的，应当承担相应的责任。”

3. 其他考虑因素：

   • 工人自身过错：如果事故是由于工人自身的过错（如疏忽大意、违反操作规程等）导致的，那么工人自身可能需要承担一定的责任。
   • 第三方责任：如果事故是由于别的施工队的过错或第三方的原因导致的，那么责任应由过错方或第三方承担。
   • 保险情况：如果工人购买了工伤保险或您为其购买了雇主责任险等保险，那么相关赔偿可能会由保险公司承担。

建议：

• 明确法律关系：首先，您需要明确与工人之间是雇佣关系还是承揽关系，这决定了您是否需要承担赔偿责任以及责任的大小。
• 收集证据：如果发生事故，您应尽快收集相关证据，如工作安排记录、工人操作规程、事故现场照片等，以便在后续的法律纠纷中维护自己的权益。
• 咨询专业律师：由于法律问题复杂多变，且每个案件的具体情况都不同，因此建议您在发生事故后及时咨询专业律师，以便得到更具体、更准确的法律建议。

如果您有任何法律问题或需要进一步的法律帮助，请直接向我咨询。