派遣工是与劳务派遣单位签订劳动合同，而不是与工厂（用工单位）直接签订劳动合同。以下是对此问题的详细解答：
一、法律依据与合同关系
法律依据：
- 根据《中华人民共和国劳动合同法》第五十八条，劳务派遣单位是用人单位，应当与被派遣劳动者订立劳动合同，并履行用人单位对劳动者的义务。
- 劳务派遣单位与被派遣劳动者订立的劳动合同，除应载明一般劳动合同的事项外，还应载明被派遣劳动者的用工单位、派遣期限、工作岗位等情况。
合同关系：
- 劳务派遣单位与被派遣劳动者：双方签订劳动合同，确立劳动关系。劳务派遣单位负责招聘、录用、管理、培训、支付工资、缴纳社会保险等事项。
- 劳务派遣单位与用工单位：双方签订劳务派遣协议，明确派遣服务的内容、条件、费用等。用工单位按照协议约定，向劳务派遣单位支付服务费用，并接收和使用被派遣劳动者。
- 用工单位与被派遣劳动者：双方之间不存在直接的劳动合同关系，但存在实际的用工关系。用工单位负责为被派遣劳动者提供工作岗位、劳动条件、劳动保护等。
二、实际操作中的注意事项
合同签订：
- 被派遣劳动者在入职时，应与劳务派遣单位签订书面劳动合同，明确双方的权利和义务。
- 劳务派遣单位也应与用工单位签订劳务派遣协议，确保派遣服务的合法性和规范性。
权益保障：
- 虽然被派遣劳动者与用工单位没有直接的劳动合同关系，但其合法权益仍应受到法律保护。
- 用工单位应遵守国家法律法规和劳务派遣协议的约定，不得侵害被派遣劳动者的合法权益，如提供安全的工作环境、支付合理的劳动报酬等。
争议处理：
- 如果被派遣劳动者与劳务派遣单位或用工单位发生劳动争议，可以依法申请劳动仲裁或提起诉讼，维护自己的合法权益。
- 在争议处理过程中，劳动合同和劳务派遣协议将成为重要的证据材料，用于证明双方的权利和义务关系。
三、特殊情况下的处理
- 在某些特殊情况下，如用工单位直接与被派遣劳动者签订劳动合同或用工单位未按照劳务派遣协议约定支付费用等，都可能引发法律纠纷。
- 因此，劳务派遣单位和用工单位应严格遵守相关法律法规和劳务派遣协议的约定，确保劳务派遣活动的合法性和规范性。
总结与建议：派遣工是与劳务派遣单位签订劳动合同的，而不是与工厂（用工单位）直接签订。在实际操作中，劳务派遣单位和用工单位应严格遵守相关法律法规和劳务派遣协议的约定，确保派遣服务的合法性和规范性。同时，被派遣劳动者也应了解自己的权益和义务，并在发生争议时及时寻求法律帮助。如果你有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。