你可以拒绝签字且无需接受不合理加罚，工厂的这种做法涉嫌违法，你有权通过法律途径维护自身权益。具体分析如下：

1. 工厂罚款的合法性基础
   根据《劳动合同法》及《工资支付暂行规定》，用人单位仅在两种情形下可对员工进行经济处罚：
   

• 员工因故意或重大过失给用人单位造成直接经济损失（需举证损失金额及因果关系）；
  
• 员工违反依法制定的规章制度（需满足三个条件：制度内容合法、经民主程序制定、已向员工公示）。
  若工厂无法证明罚款符合上述条件，则属于违法克扣工资。

1. 拒签的效力与工厂加罚的违法性
   

• 员工有权拒绝签署不合理的处罚文件，签字行为本质是员工对处罚的认可，非强制义务。
  
• 工厂在员工拒签后加罚，属于单方面变更劳动合同内容（如降低工资），违反《劳动合同法》第35条“协商一致”原则。若加罚导致工资低于当地最低工资标准，则直接违反《最低工资规定》。

1. 应对措施
   

• 收集证据：保留罚款通知、工资条、考勤记录、工作记录、与工厂沟通的录音/聊天记录等，证明罚款无依据或加罚不合理。
  
• 协商解决：向工厂书面提出异议，明确拒绝违法处罚，要求限期补发被扣工资（可通过EMS邮寄留存凭证）。
  
• 投诉举报：向当地劳动监察大队投诉（电话12333），或通过“全国根治欠薪线索反映平台”提交材料，要求查处违法行为。
  
• 申请仲裁：若投诉无果，可在1年内申请劳动仲裁，主张工厂支付被扣工资、加付50%-100%赔偿金（依《劳动合同法》第85条）。

提示：工厂若以“拒签”为由解雇你，可能构成违法解除劳动合同，需支付2N赔偿金（N为工作年限）。建议优先通过投诉/仲裁解决，避免激化矛盾。如有进一步细节（如罚款原因、金额、工厂规模等），可向我补充说明，我会为你分析具体风险点。