工厂是否有权记大过并罚款，需分情况讨论，具体如下：

1. 若工厂规章制度合法且员工违规，工厂有权依据规定记大过并罚款（但罚款需符合法律限制）
   根据《劳动合同法》第四条，工厂可通过民主程序制定规章制度（如员工手册），明确违规行为及处罚措施（包括记大过、罚款等）。若规章制度内容合法（如罚款金额不超过月工资20%）、程序合法（经职工代表大会讨论、公示或告知员工），且员工确实存在违规行为（如旷工、严重失职等），工厂可依据规定对员工进行记大过处分，并处以罚款。但需注意：

   • 罚款金额不得超过月工资的20%（依据《工资支付暂行规定》第十六条）；
     
   • 罚款后员工工资不得低于当地最低工资标准；
     
   • 工厂需保留员工违规证据（如监控录像、书面记录等）及处罚依据（如规章制度条款）。

2. 若工厂规章制度违法或程序瑕疵，记大过及罚款可能被认定无效
   若工厂规章制度存在以下情形，其记大过及罚款行为可能被认定违法：

   • 内容违法：如规定“迟到一次罚款500元”（超过月工资20%）、“员工离职需缴纳违约金”（除服务期或竞业限制外）等；
     
   • 程序违法：如规章制度未经民主程序制定、未公示或未告知员工；
     
   • 证据不足：工厂无法证明员工存在违规行为（如仅凭口头指责无书面记录）。
     此时，员工可向劳动监察部门投诉或申请劳动仲裁，要求工厂撤销处罚、补发工资或赔偿损失。

3. 特殊情形：工厂无权罚款，但可通过其他方式管理
   根据《劳动合同法》及相关规定，工厂本身无行政处罚权，罚款需以员工违规为前提且符合法律限制。若工厂规章制度未明确罚款条款，或罚款金额超标，工厂不得直接罚款，但可通过以下方式管理：

   • 扣减绩效工资：若员工违规导致工厂损失，工厂可依据劳动合同约定，从绩效工资中扣减相应金额（需证明损失与违规行为的因果关系）；
     
   • 解除劳动合同：若员工严重违规（如盗窃、打架斗殴等），工厂可依据《劳动合同法》第三十九条解除劳动合同，无需支付经济补偿。

建议：若您遇到工厂记大过或罚款，可先核对工厂规章制度是否合法、程序是否合规、证据是否充分。若认为处罚不当，可向工厂提出异议或向劳动监察部门投诉。如有疑问，可直接向我咨询具体处理方式。