工厂里乱罚工人钱是一个严重侵害工人权益的问题，根据我国相关法律法规，企业并不具备行政处罚权，因此不能随意对工人进行罚款。面对这种情况，工人可以采取以下措施来维护自身权益：

一、优先与工厂协商解决

首先，建议工人尝试与工厂管理层进行沟通，明确指出工厂罚款行为的不合理性及违法性，要求返还被扣除的工资。在沟通过程中，工人应保持冷静，并准备好相关证据，如工作记录、工资条等，以支持自己的主张。如果工厂管理层同意改正并返还罚款，那么问题可以得到快速解决，同时也有助于维持工人与工厂之间的良好关系。

二、向工会寻求帮助

如果工厂设有工会组织，工人可以向工会反映情况并请求协助。工会有责任保护员工的合法权益，包括制止不合理的罚款行为。工会作为员工代表，能够更有效地与工厂管理层沟通，为员工争取合法权益。

三、向劳动监察部门投诉

如果与工厂协商无果或工厂未设工会，工人可以向当地劳动监察部门投诉。投诉时，工人需要准备身份证、劳动合同、工资条、罚款通知等相关证据，并详细描述工厂乱罚款的情况。劳动监察部门具有行政权力，可以对工厂进行监督检查，责令改正违法行为并给予处罚。

四、申请劳动仲裁

如果劳动监察部门处理未果，工人可以向当地劳动争议仲裁委员会申请仲裁。申请仲裁时，工人需要提交仲裁申请书及相关证据材料。仲裁委员会受理后，将安排开庭审理并作出裁决。仲裁裁决具有法律效力，如果工厂不履行裁决，工人可以向法院申请强制执行。

五、向法院提起诉讼

如果工人对劳动仲裁结果不满意或工厂不执行仲裁裁决，可以向有管辖权的人民法院提起诉讼。在诉讼过程中，工人需要遵循民事诉讼程序，提交起诉状及相关证据，并参加庭审。法院判决具有最终法律效力，为工人提供最权威的权益保障。

综上所述，面对工厂乱罚工人钱的情况，工人应首先尝试与工厂协商解决，并可考虑向工会寻求帮助。如果协商无果，工人可以依次向劳动监察部门投诉、申请劳动仲裁乃至向法院提起诉讼来维护自身权益。在整个过程中，工人应保持冷静并准备好相关证据以支持自己的主张。同时，加强法律意识，了解自己的权利和义务，以便更好地应对类似问题。