结论：是否可以将您退回劳务公司，取决于您与劳务公司签订的劳动合同以及用工单位（即厂里）与劳务公司之间的劳务派遣协议中的具体约定，同时还需考虑是否存在法定退回情形。以下从不同角度为您详细分析：
一、合同约定角度
劳动合同约定：
- 您与劳务公司签订的劳动合同中，应明确规定了双方的权利和义务，包括用工单位（厂里）在何种情况下可以将您退回劳务公司。
- 如果劳动合同中有明确约定，且该约定不违反法律法规的强制性规定，那么用工单位在符合约定条件的情况下，是可以将您退回劳务公司的。
劳务派遣协议约定：
- 劳务公司与用工单位（厂里）之间签订的劳务派遣协议中，也会对劳务派遣人员的退回条件、程序等作出具体规定。
- 如果劳务派遣协议中有明确约定，且该约定同样不违反法律法规的强制性规定，那么用工单位在符合约定条件的情况下，也是可以将您退回劳务公司的。
二、法定退回情形角度
即使劳动合同和劳务派遣协议中没有明确约定退回条件，根据《劳务派遣暂行规定》等相关法律法规，用工单位在以下情形下也可以将劳务派遣人员退回劳务公司：
客观情况发生重大变化：
- 如用工单位因市场变化、经营策略调整等原因，导致原派遣岗位不再存在或无法继续履行，且无法为劳务派遣人员安排其他合适岗位的。
劳务派遣人员不符合录用条件：
- 如果劳务派遣人员在试用期内被证明不符合录用条件，或者在工作过程中严重违反用工单位的规章制度、劳动纪律等，用工单位可以将其退回劳务公司。
劳务派遣人员患病或非因工负伤：
- 如果劳务派遣人员患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的，用工单位可以将其退回劳务公司。
其他法定情形：
- 如劳务派遣人员被依法追究刑事责任、不能胜任工作且经过培训或调整工作岗位后仍不能胜任等情形，用工单位也可以依法将其退回劳务公司。
三、您的具体情况分析
- 您在厂里已经工作了四年，这表明您与劳务公司之间的劳动关系已经持续了一段时间。
- 如果在这四年期间，没有发生上述法定退回情形，且劳动合同和劳务派遣协议中也没有明确约定可以退回的条件，那么用工单位（厂里）是无权随意将您退回劳务公司的。
- 如果用工单位（厂里）确实存在优化人员的情况，但不符合法定退回情形或合同约定条件，那么其退回行为可能构成违法解除劳动合同，您有权依法维护自己的合法权益。
四、建议
审查合同：
- 建议您首先审查自己与劳务公司签订的劳动合同以及用工单位（厂里）与劳务公司之间的劳务派遣协议，了解其中关于退回条件的具体约定。
与用工单位沟通：
- 如果用工单位（厂里）提出要将您退回劳务公司，您可以与其进行沟通，了解退回的具体原因和依据。
寻求法律帮助：
- 如果您认为用工单位（厂里）的退回行为违法或不合理，可以向我咨询，我会根据您的具体情况提供专业的法律意见和帮助。
总之，是否可以将您退回劳务公司，需要综合考虑合同约定和法定情形。如果您对此有任何疑问或需要进一步的法律帮助，请随时向我咨询。