工厂把员工退回劳务公司是否违法，不能一概而论，需要分情况讨论。以下是我从不同角度为你进行的分析：
一、合法退回的情况
合同约定：
- 如果劳务派遣协议中明确约定了退回的条件和程序，且工厂在退回员工时严格遵守了这些约定，那么这种退回行为通常是合法的。例如，协议中可能规定，当员工严重违反工厂规章制度或不能胜任工作时，工厂有权将其退回劳务公司。
法定情形：
- 根据《劳务派遣暂行规定》等相关法律法规，存在一些法定情形下，用工单位（即工厂）可以将被派遣劳动者退回劳务派遣单位。这些情形包括但不限于：
- 劳务派遣用工岗位的范围受限（如临时性、辅助性或替代性工作岗位）；
- 被派遣劳动者存在过错（如严重失职、营私舞弊给用工单位造成重大损害）；
- 被派遣劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作；
- 被派遣劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作。
二、违法退回的情况
无合法理由退回：
- 如果工厂没有合法理由，如合同未约定或不符合法定情形，就擅自将员工退回劳务公司，这种行为可能构成违法。例如，工厂因经营策略调整而单方面决定退回员工，且未与劳务公司和员工进行充分协商。
违反程序退回：
- 即使存在合法理由，如果工厂在退回员工时未按照合同约定或法定程序进行，也可能构成违法。例如，未提前通知劳务公司和员工，或未支付相应的经济补偿等。
三、法律后果与建议
法律后果：
- 如果工厂违法退回员工，可能面临劳动行政部门的处罚，如责令改正、罚款等。同时，员工也有权要求工厂继续履行劳动合同或支付赔偿金。
建议：
- 对于工厂而言，在退回员工前应仔细审查劳务派遣协议和相关法律法规，确保退回行为合法合规。同时，应与劳务公司和员工进行充分沟通，尽量协商解决争议。
- 对于员工而言，如果认为工厂的退回行为违法，可以收集相关证据（如劳务派遣协议、工作记录、沟通记录等），并向当地劳动行政部门投诉或申请劳动仲裁，以维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供更详细、更专业的法律建议。