工厂将劳务人员退回是否合理，需根据具体情况来判断，不能一概而论。以下是从不同角度对此问题的详细分析：

一、劳务派遣关系中的退回情形

在劳务派遣关系中，劳务派遣单位（即用人单位）与被派遣劳动者签订劳动合同，而用工单位（即实际使用劳动者的单位，如工厂）与被派遣劳动者之间则形成用工关系。根据《劳务派遣暂行规定》等相关法律法规，用工单位在特定情形下可以将被派遣劳动者退回劳务派遣单位。这些情形通常包括：

1. 客观情况发生重大变化：如用工单位因市场变化、经营策略调整等原因，导致原派遣岗位不再存在或无法继续履行，且无法为被派遣劳动者安排其他合适岗位时，可以将劳动者退回。
2. 劳动者不符合录用条件或严重违反规章制度：若被派遣劳动者在试用期内被证明不符合录用条件，或严重违反用工单位的规章制度，用工单位有权将其退回。
3. 劳动者患病或非因工负伤：若被派遣劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的，用工单位可以将其退回。
4. 其他法定情形：如劳务派遣协议期满终止等，用工单位也可以将劳动者退回。

若工厂的退回行为符合上述情形之一，且程序合法，则通常是合理的。但工厂需确保退回行为有充分的依据，并遵循相关法律法规规定的程序，如提前通知劳务派遣单位、与劳务派遣单位协商处理被派遣劳动者的后续事宜等。

二、非劳务派遣关系中的退回问题

若工厂与劳务人员之间并非劳务派遣关系，而是直接雇佣关系或其他形式的用工关系，则工厂将劳务人员“退回”的说法可能并不准确。在这种情况下，工厂若想解除与劳务人员的劳动关系，需依据《劳动合同法》等相关法律法规的规定，遵循法定程序和条件。例如，工厂需证明劳动者存在严重违反规章制度、不能胜任工作等情形，且需提前通知劳动者或支付经济补偿等。

若工厂在非劳务派遣关系中未经合法程序擅自将劳务人员“退回”，则可能构成违法解除劳动关系，需承担相应的法律责任。

三、建议与注意事项

1. 核实关系性质：首先需明确工厂与劳务人员之间是劳务派遣关系还是其他形式的用工关系，以便准确判断退回行为的合法性。
2. 审查退回依据：若为劳务派遣关系，需审查工厂退回劳务人员的依据是否充分、程序是否合法；若为其他形式的用工关系，则需审查工厂解除劳动关系的依据和程序是否符合法律法规的规定。
3. 协商与沟通：在处理此类问题时，建议工厂与劳务人员或劳务派遣单位进行充分协商和沟通，尽量达成一致意见，避免引发不必要的法律纠纷。
4. 寻求法律帮助：若对退回行为的合法性存在疑问或无法协商解决，建议及时咨询专业律师或相关劳动部门，以便获得更具体的法律指导和帮助。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，为您提供专业、全面的法律建议。