工厂一般没有权利无故考核工人或者罚款，但需根据具体情况和法律规定来判断。以下从不同角度为你详细分析：
一、工厂无故考核或罚款的合法性分析
法律依据：
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位应当依法建立和完善劳动规章制度，保障劳动者享有劳动权利、履行劳动义务。同时，用人单位在制定、修改或者决定有关劳动报酬、工作时间、休息休假、劳动安全卫生、保险福利、职工培训、劳动纪律以及劳动定额管理等直接涉及劳动者切身利益的规章制度或者重大事项时，应当经职工代表大会或者全体职工讨论，提出方案和意见，与工会或者职工代表平等协商确定。
- 这意味着，工厂不能单方面随意制定考核或罚款制度，必须遵循法定程序，并确保制度的合理性和合法性。
无故考核或罚款的违法性：
- 如果工厂没有明确的考核或罚款制度，或者该制度未经法定程序制定，那么工厂无故对工人进行考核或罚款就是违法的。
- 此外，即使工厂有相关的考核或罚款制度，但如果该制度的内容违反了法律法规的强制性规定，或者对工人造成了不合理的负担，那么该制度也是无效的，工厂不能依据该制度对工人进行考核或罚款。
二、工厂合法考核或罚款的情形
有明确制度且经法定程序制定：
- 如果工厂有明确的考核或罚款制度，并且该制度已经经过职工代表大会或者全体职工讨论，与工会或者职工代表平等协商确定，那么工厂在符合制度规定的情况下对工人进行考核或罚款就是合法的。
工人存在过错或违规行为：
- 如果工人存在过错或违规行为，如违反劳动纪律、工作失误等，并且工厂的考核或罚款制度对此有明确规定，那么工厂可以依据制度对工人进行考核或罚款。但需要注意的是，罚款的金额应当合理，不能超过工人当月工资的20%，并且不能影响工人的基本生活。
三、工人的维权途径
与工厂协商：
- 如果工人认为工厂的考核或罚款不合理或违法，可以首先与工厂进行协商，要求工厂撤销不合理的考核或罚款决定。
向劳动监察部门投诉：
- 如果协商无果，工人可以向当地的劳动监察部门投诉，要求劳动监察部门对工厂的违法行为进行调查和处理。
申请劳动仲裁或提起诉讼：
- 如果劳动监察部门的处理结果不能满足工人的需求，工人还可以向劳动仲裁机构申请劳动仲裁，或者向人民法院提起诉讼，维护自己的合法权益。
四、建议
- 工厂方面：建议工厂在制定考核或罚款制度时，务必遵循法定程序，确保制度的合理性和合法性。同时，在执行制度时，也要确保公平、公正、公开，避免对工人造成不合理的负担。
- 工人方面：建议工人在面对工厂的考核或罚款时，要了解自己的权益和义务，如果认为考核或罚款不合理或违法，要勇敢地站出来维权。
最后需要强调的是，劳动法律关系复杂多变，每个具体案件都有其独特的事实和法律背景。因此，在处理类似问题时，建议直接向我咨询，以便根据具体情况提供更精确的法律建议。