工厂早退扣钱并非一概而论地违法或合法，而是需要根据具体情况来判断。以下是对此问题的详细分析：
合法扣工资的情形
有明确规章制度且程序合法：
- 如果工厂依法制定了规章制度，明确规定了早退的扣款标准，并且这一制度已经经过职工代表大会或全体职工讨论，与工会或职工代表平等协商确定，同时进行了公示或告知了劳动者，那么在这种情况下，工厂因早退扣钱是合法的。
- 法律依据：《中华人民共和国劳动合同法》第四条规定，用人单位应当依法建立和完善劳动规章制度，保障劳动者享有劳动权利、履行劳动义务。用人单位在制定、修改或者决定有关劳动报酬、工作时间等直接涉及劳动者切身利益的规章制度时，应当经职工代表大会或者全体职工讨论，提出方案和意见，与工会或者职工代表平等协商确定。
扣除数额合理：
- 即使工厂有规章制度规定早退扣钱，但扣除的数额也必须合理。如果扣除的数额过高，超出了劳动者因早退可能给工厂造成的损失范围，那么这种扣款行为也可能被视为违法。
违法扣工资的情形
无规章制度依据：
- 如果工厂没有制定明确的、合理合法的规章制度，或者没有与员工进行相关约定，就擅自以早退为由扣员工工资，这是不合法的。
未按法定程序扣钱：
- 即使工厂有相关规章制度规定可以扣钱，但如果没有按照法定程序进行，如未提前告知员工、未给员工陈述和申辩的机会等，也是违法的。
扣除数额过高：
- 如前所述，如果扣除的数额过高，超出了合理范围，那么这种扣款行为也是违法的。
违法扣工资的责任与维权途径
如果工厂违法扣钱，劳动者有权维护自己的合法权益。具体途径包括：
协商沟通：
- 首先可以尝试与工厂进行协商沟通，寻求解决方案。在协商过程中，劳动者可以明确表达自己的诉求和理由，要求工厂纠正违法行为。
投诉举报：
- 如果协商无果，劳动者可以向当地劳动监察部门投诉举报工厂的违法行为。劳动监察部门将会对投诉进行调查处理，并依法对违法行为进行处罚。
劳动仲裁或诉讼：
- 劳动者还可以申请劳动仲裁或提起诉讼来维护自己的权益。在维权过程中，劳动者应保留相关证据以证明自己的主张，如工资条、考勤记录、规章制度等。
法律建议：
- 作为劳动者，在面对工厂扣钱行为时，应首先了解自己的权益和工厂的规章制度。如果认为工厂的扣款行为违法或不合理，可以及时与工厂进行沟通协商。
- 如果协商无果，劳动者应积极寻求法律援助或向相关部门投诉举报，以维护自己的合法权益。
可能法律后果：
- 如果工厂违法扣钱，可能会面临劳动行政部门的责令支付工资报酬、经济补偿以及赔偿金等法律责任。同时，这种违法行为也可能对工厂的声誉和劳动关系造成负面影响。
综上所述，工厂早退扣钱是否违法取决于具体情况和依据。劳动者在面对工厂扣钱行为时，应了解自己的权益和维权途径，积极维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。