结论前置：工厂即使没有与员工签订劳动合同，员工仍需依法缴纳个人所得税；工厂作为扣缴义务人，也需履行代扣代缴义务。以下是具体分析：

1. 个人所得税的缴纳义务与劳动合同无关
   根据《中华人民共和国个人所得税法》及实施条例，个人所得税的缴纳以“个人取得应税所得”为前提，与是否签订劳动合同无直接关联。只要员工从工厂取得工资、薪金、劳务报酬等应税收入，无论是否签订书面合同，均需依法纳税。

   • 法律依据：
     
     • 《个人所得税法》第二条明确规定，工资、薪金所得，劳务报酬所得等九类所得应缴纳个人所得税。
       
     • 《税收征收管理法》第三十条要求，支付所得的单位（如工厂）为个人所得税的扣缴义务人，需代扣代缴税款。

2. 未签劳动合同不影响工厂的扣缴义务
   即使工厂未与员工签订劳动合同，但双方存在事实劳动关系（如员工实际提供劳动、工厂支付报酬），工厂仍需履行代扣代缴义务。若工厂未履行，可能面临税务处罚：

   • 税务风险：
     
     • 根据《税收征收管理法》第六十九条，扣缴义务人应扣未扣税款的，税务机关可对工厂处应扣未扣税款50%以上3倍以下的罚款。
       
     • 员工若未自行申报纳税，也可能被追缴税款及滞纳金。

3. 未签劳动合同的法律后果（延伸提醒）
   虽然未签合同不影响纳税义务，但工厂可能面临劳动法层面的风险：

   • 双倍工资赔偿：
     根据《劳动合同法》第八十二条，工厂自用工之日起超过1个月未签书面合同的，需向员工支付双倍工资（最长11个月）。
     
   • 劳动关系认定：
     即使未签合同，员工仍可通过工资记录、考勤表、工作证等证据证明劳动关系，主张权益。

建议：

• 对员工：保留工资条、工作记录等证据，依法纳税；若工厂未签合同，可向劳动监察部门投诉或申请劳动仲裁。
  
• 对工厂：及时补签合同，完善用工管理；依法履行扣缴义务，避免税务风险。
  

如有进一步疑问，可直接向我咨询具体操作或风险防范措施。