工厂无权对临时工擅自离职的行为进行罚款，临时工无需支付此类罚款。以下从多个角度进行分析：
法律关系角度：
- 临时工与工厂之间通常形成的是劳务关系或非全日制劳动关系，而非全日制劳动合同关系。在劳务关系中，双方地位平等，工厂并非行政机关或具有行政处罚权的组织，无权对劳务提供者（临时工）进行罚款。
- 即使是全日制劳动关系，根据《劳动合同法》及相关规定，用人单位对劳动者进行罚款也需有明确的规章制度依据，且该规章制度需经民主程序制定并公示，罚款金额也不得超过法定标准。对于临时工而言，若未签订书面劳动合同或未形成事实劳动关系，工厂同样无权罚款。
合同约定角度：
- 若临时工与工厂之间签订了书面劳务合同或口头协议，且合同中明确约定了擅自离职的违约责任（如扣除部分劳务费作为违约金），则工厂可依据合同约定主张权利。但需注意，违约金条款需合法合理，不得显失公平或违反法律强制性规定。
- 若合同中未约定擅自离职的违约责任，或约定不明确，工厂则无权要求临时工支付罚款或违约金。
实际操作建议：
- 对于临时工而言，若工厂要求支付罚款，可首先与工厂协商，明确拒绝支付无合法依据的罚款。
- 若协商无果，临时工可向当地劳动监察部门投诉，或依据合同约定向法院提起诉讼，维护自身合法权益。
- 对于工厂而言，应完善内部管理制度，明确劳务关系或非全日制劳动关系的权利义务，避免通过罚款等非法手段管理员工。若需约束临时工行为，可通过合同约定违约金等方式实现。