结论：派遣工人与工厂协议约定工伤由工厂负责，一般情况下，若协议合法有效且已实际履行，您（派遣方）不会因工伤问题承担连带责任。但存在特殊情形时，您仍可能面临一定责任风险。以下从不同角度为您详细分析：

一、协议合法有效且已实际履行时，您通常无需承担连带责任

根据《中华人民共和国劳动合同法》第五十八条：“劳务派遣单位是本法所称用人单位，应当履行用人单位对劳动者的义务。劳务派遣单位与被派遣劳动者订立的劳动合同，除应当载明本法第十七条规定的事项外，还应当载明被派遣劳动者的用工单位以及派遣期限、工作岗位等情况。” 以及第五十九条：“劳务派遣单位派遣劳动者应当与接受以劳务派遣形式用工的单位（以下称用工单位）订立劳务派遣协议。劳务派遣协议应当约定派遣岗位和人员数量、派遣期限、劳动报酬和社会保险费的数额与支付方式以及违反协议的责任。”

在您与工厂签订的协议中，若明确约定了工伤由工厂负责，且该协议是双方真实意思表示，不违反法律、行政法规的强制性规定，也不违背公序良俗，那么该协议是合法有效的。在协议实际履行过程中，若工厂按照约定承担了工伤赔偿责任，您作为派遣方，通常无需再承担连带责任。

二、存在特殊情形时，您可能面临一定责任风险

1. 协议存在瑕疵或未实际履行

   • 若协议存在瑕疵，如未明确约定工伤责任承担方式、约定内容违反法律法规等，可能导致协议部分或全部无效。此时，若发生工伤事故，您作为派遣方，可能因未履行用人单位对劳动者的义务（如未为劳动者缴纳工伤保险等）而承担相应责任。
   • 若工厂未按照协议约定承担工伤赔偿责任，如拒绝支付工伤医疗费用、伤残补助金等，您作为派遣方，可能因未及时协调或督促工厂履行义务而面临劳动者的索赔请求。

2. 您存在过错或违法行为

   • 若您在派遣过程中存在过错，如未对劳动者进行必要的岗前培训、未提供符合国家规定的劳动安全卫生条件等，导致劳动者发生工伤事故，您可能因过错而承担相应责任。
   • 若您存在违法行为，如未与劳动者签订书面劳动合同、未为劳动者缴纳社会保险等，您可能因违法行为而面临行政处罚或民事赔偿等法律责任。

三、建议与措施

1. 完善协议内容：在与工厂签订劳务派遣协议时，应明确约定工伤责任承担方式、赔偿标准、支付方式等条款，确保协议内容合法、有效且具体明确。
2. 加强风险管理：在派遣过程中，应加强对劳动者的岗前培训、劳动安全卫生教育等工作，降低工伤事故发生的风险。同时，应定期与工厂沟通协调，确保工厂按照协议约定履行工伤赔偿责任。
3. 及时应对纠纷：若发生工伤事故或相关纠纷，应及时与工厂、劳动者沟通协商，寻求妥善解决方案。若无法协商解决，可依法向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。

最后，若您在劳务派遣过程中遇到任何法律问题或困惑，欢迎直接向我咨询。我将根据您的具体情况，为您提供专业、全面的法律建议和帮助。