工厂随意扣工资和罚款的行为，在大多数情况下是违法的。以下从不同角度为你详细分析：
从劳动合同法的角度
根据《中华人民共和国劳动合同法》第三十条、第三十八条的规定，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。如果工厂没有合法依据，比如劳动者严重违反规章制度且造成重大损失（需有明确证据），就随意扣除工资，属于未及时足额支付劳动报酬的情形，劳动者有权要求工厂支付被扣的工资，并可以依据第三十八条解除劳动合同，同时要求用人单位支付经济补偿。经济补偿按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
从工资支付暂行规定的角度
依据《工资支付暂行规定》第十六条，因劳动者本人原因给用人单位造成经济损失的，用人单位可按照劳动合同的约定要求其赔偿经济损失。经济损失的赔偿，可从劳动者本人的工资中扣除，但每月扣除的部分不得超过劳动者当月工资的20%。若扣除后的剩余工资部分低于当地月最低工资标准，则按最低工资标准支付。这就明确限制了工厂扣工资的比例和底线，如果工厂超出这个范围随意扣工资，就是违法的。例如，劳动者当月工资为5000元，即使因其原因给工厂造成损失，工厂每月最多也只能扣除1000元。
从罚款的角度
在我国，用人单位并不具有行政处罚权，所以一般情况下工厂无权对劳动者进行罚款。只有当劳动者因故意或重大过失给用人单位造成损失时，用人单位可以要求劳动者承担赔偿责任，但这也不是罚款，而是赔偿损失。如果工厂以各种名义对劳动者进行罚款，比如迟到罚款、未完成工作任务罚款等，这种行为是缺乏法律依据的，属于违法行为。
给你的建议：如果遇到工厂随意扣工资和罚款的情况，你可以先与工厂进行协商，要求工厂说明扣工资和罚款的理由，并出示相关的证据和依据。如果协商无果，你可以向当地的劳动监察部门投诉，劳动监察部门会依法对工厂的行为进行调查和处理。你也可以向劳动争议仲裁委员会申请仲裁，通过法律途径维护自己的合法权益。
如果你还有其他关于劳动法律方面的问题，欢迎随时向我咨询。