工厂直接把人放走是否违法，不能一概而论，需要分情况讨论：
若工厂与员工之间存在合法的劳动关系，且工厂未按照法定程序解除劳动合同：
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同应当遵循法定程序，如提前通知、支付经济补偿等。若工厂未按照这些程序直接放走员工，可能构成违法解除劳动合同。
- 法律后果：员工有权要求工厂继续履行劳动合同，或者要求工厂支付违法解除劳动合同的赔偿金。赔偿金的标准通常为经济补偿金的两倍。
若工厂与员工之间存在合法的劳动关系，但员工存在严重违反公司规章制度或法律法规的行为：
- 在这种情况下，工厂有权根据规章制度或法律法规的规定，解除与员工的劳动合同。但即便如此，工厂也应当确保解除程序的合法性，如通知工会、告知员工解除理由等。
- 若工厂程序合法：则工厂直接放走员工的行为不构成违法。
- 若工厂程序不合法：如未通知工会或未告知员工解除理由等，员工仍可能有权要求工厂支付一定的赔偿或补偿。
若工厂与员工之间不存在合法的劳动关系，如员工为临时工、实习生或未签订劳动合同的员工：
- 在这种情况下，工厂与员工之间的关系可能不受《中华人民共和国劳动合同法》的全面保护。但工厂仍应当遵循基本的劳动法规和道德准则，不得随意放走员工，尤其是当员工为工厂提供了劳动服务时。
- 若工厂随意放走员工且未支付相应报酬：员工有权要求工厂支付劳动报酬，并可能根据具体情况要求工厂承担其他法律责任。
建议：
- 对于员工而言，如果遭遇工厂直接放走的情况，首先应当了解自己的劳动关系状态以及工厂解除劳动合同的程序是否合法。如果认为工厂的行为违法，可以收集相关证据，如劳动合同、工资单、工作记录等，向当地劳动监察部门投诉或申请劳动仲裁。
- 对于工厂而言，应当严格遵守劳动法律法规的规定，确保解除劳动合同的程序合法合规。在解除劳动合同前，应当与员工进行充分沟通，告知解除理由和补偿方案等，以避免不必要的法律纠纷。
总结：工厂直接把人放走是否违法，取决于多种因素，包括劳动关系状态、解除劳动合同的程序是否合法等。因此，在遇到类似情况时，建议双方都咨询专业律师或相关劳动部门，以了解具体的法律责任和权益。如果你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。