工厂以各种理由罚款属于违法行为，您有权拒绝并采取相应措施维护自身权益。具体分析如下：

1. 工厂罚款的合法性分析
   根据《劳动合同法》第九条及《工资支付暂行规定》第十六条，用人单位仅在劳动者因故意或重大过失造成经济损失时，可按劳动合同约定要求赔偿，且每月扣除部分不得超过工资的20%。若工厂以“迟到”“未完成指标”等非法定理由直接罚款，属于克扣工资行为，违反《劳动法》第五十条关于“工资应当以货币形式按月支付给劳动者本人，不得克扣或者无故拖欠”的规定。

2. 应对措施建议

   • 收集证据：保留工资条、罚款通知、考勤记录、劳动合同等书面材料，以及同事证言、录音录像等辅助证据，证明工厂存在违法罚款行为。
     
   • 协商解决：可先与工厂人事部门或工会沟通，明确指出罚款行为违法，要求返还被扣款项并停止此类行为。
     
   • 投诉举报：若协商无果，可向当地劳动监察大队投诉（电话：12333），或通过“全国根治欠薪线索反映平台”提交线索，由劳动行政部门责令工厂限期支付工资及赔偿金。
     
   • 申请仲裁：若罚款金额较大或涉及其他劳动权益侵害（如未缴社保、超时加班等），可直接向劳动争议仲裁委员会申请仲裁，主张返还罚款、支付经济补偿等。

3. 注意事项

   • 工厂若以“绩效考核不达标”为由变相罚款（如将罚款改为“绩效扣分”导致工资减少），需审查绩效考核制度是否经民主程序制定、是否已公示或告知劳动者。若制度违法，同样可主张权利。
     
   • 避免因维权被报复：根据《劳动合同法》第三十八条，若工厂存在违法行为，您可提出解除劳动合同并主张经济补偿（工作满1年支付1个月工资）。

行动建议：优先通过投诉或仲裁解决，效率较高且成本较低。若需进一步协助，可随时向我提供具体细节（如罚款理由、金额、工厂所在地等），我将为您制定更详细的维权方案。