结论：工厂没有退回劳务，并不直接赋予劳务公司辞退员工的权利。劳务公司是否可以辞退员工，需根据具体情况，结合相关法律法规及劳务派遣协议、劳动合同的约定来判断。
分析说明：
劳务派遣的基本关系：
- 在劳务派遣中，存在三方关系：劳务派遣单位（劳务公司）、用工单位（工厂）和被派遣劳动者（员工）。
- 劳务派遣单位与被派遣劳动者签订劳动合同，建立劳动关系，并负责被派遣劳动者的工资支付、社保缴纳等。
- 用工单位与劳务派遣单位签订劳务派遣协议，约定被派遣劳动者的用工岗位、期限、劳动报酬等，并实际使用被派遣劳动者。
工厂未退回劳务的影响：
- 工厂未退回劳务，通常意味着工厂仍需要被派遣劳动者继续工作，或者尚未完成与劳务派遣单位约定的用工期限。
- 这并不直接构成劳务公司辞退员工的合法理由。劳务公司不能仅凭工厂未退回劳务就单方面解除与被派遣劳动者的劳动合同。
劳务公司辞退员工的合法情形：
- 根据《劳动合同法》等相关法律法规，劳务公司辞退员工需符合法定情形，如员工严重违反公司规章制度、严重失职给公司造成重大损害、被依法追究刑事责任等。
- 若劳务公司欲辞退员工，需依据上述法定情形或劳动合同、劳务派遣协议中的约定进行，并履行相应的法律程序，如提前通知、支付经济补偿等。
工厂未退回劳务时劳务公司的应对措施：
- 劳务公司应与工厂沟通，了解未退回劳务的具体原因，并协商解决方案。
- 若工厂确实不再需要被派遣劳动者，劳务公司应与工厂协商变更或解除劳务派遣协议，并妥善处理与被派遣劳动者的劳动关系。
- 若工厂仍需要被派遣劳动者，但劳务公司因自身原因无法继续提供劳务，劳务公司应提前与工厂和被派遣劳动者沟通，并寻求合理的解决方案，如寻找其他用工单位接收被派遣劳动者等。
行动建议：
- 若您作为被派遣劳动者面临此类情况，建议首先查看劳动合同和劳务派遣协议的约定，了解自己的权益和义务。
- 若劳务公司无正当理由辞退您，您可以向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
- 若您作为劳务公司或工厂面临此类情况，建议咨询专业律师，了解相关法律法规和操作流程，避免法律风险。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。