工厂既不安排休息又进行罚款的行为，涉嫌违反劳动法相关规定，您有权通过合法途径维护自身权益。具体分析如下：

1. 关于休息权
   根据《劳动法》第三十八条，用人单位应当保证劳动者每周至少休息1日；若实行标准工时制（每日8小时、每周40小时），超出部分需支付加班费。若工厂长期不安排休息且未支付加班费，已构成违法。您可先核查劳动合同中关于工时、休息的约定，若合同未明确约定，则以法定标准为准。

2. 关于罚款的合法性
   根据《劳动合同法》第九十条及《工资支付暂行规定》第十六条，用人单位仅在两种情况下可扣减工资：

   • 因劳动者本人原因给用人单位造成经济损失，且需提供损失证据、扣除金额不超过月工资20%、剩余工资不低于当地最低工资标准；
     
   • 劳动者违反规章制度，但规章制度需经民主程序制定、公示且内容合法。
     若工厂无法证明罚款符合上述条件（如未公示制度、罚款金额随意、未提供损失证据等），则罚款行为违法。

3. 维权步骤建议

   • 第一步：收集证据
     保留劳动合同、工资条、考勤记录（如打卡记录、排班表）、罚款通知单、与工厂沟通的录音/聊天记录等，证明工厂存在违法事实。
     
   • 第二步：协商解决
     可先与工厂人事部门或负责人沟通，明确指出其行为违法，要求补休、补发加班费或返还罚款。沟通时建议书面留痕（如邮件、短信）。
     
   • 第三步：投诉举报
     若协商无果，可向当地劳动监察大队投诉（可通过12333热线或官网查询联系方式），劳动监察部门有权责令工厂改正并处罚。
     
   • 第四步：申请仲裁
     若投诉后问题仍未解决，可向劳动合同履行地或用人单位所在地的劳动争议仲裁委员会申请仲裁，主张加班费、返还罚款、经济补偿等（如工厂违法解除合同，还可主张赔偿金）。

4. 注意事项

   • 劳动仲裁时效为1年，自知道或应当知道权益被侵害之日起计算，建议尽快行动；
     
   • 若工厂以“旷工”“违纪”等理由威胁解除合同，需核实其依据是否合法（如规章制度是否经民主程序、是否送达劳动者等）；
     
   • 维权过程中避免与工厂发生直接冲突，保留所有书面证据，必要时可寻求工会或当地法律援助中心帮助。

若您需要进一步分析具体证据或协助起草投诉材料、仲裁申请书，可随时向我提供更多细节，我会为您详细解答。