劳动者被用人单位退回劳务派遣公司是否合法，需视具体情况而定。在符合法定或约定情形时，退回行为是合法的；否则，退回行为不合法。以下从多个角度进行详细分析：
一、合法退回的情形
劳动者个人原因：
- 根据《中华人民共和国劳动合同法》第三十九条，劳动者在试用期间被证明不符合录用条件、严重违反用人单位规章制度、严重失职或营私舞弊给用人单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正、使用欺诈或胁迫手段订立或变更劳动合同导致合同无效、被依法追究刑事责任等情形下，用人单位可以将其退回劳务派遣公司。
- 此外，若劳动者患病或非因工负伤，医疗期满后不能从事原工作或用人单位另行安排的工作，或不能胜任工作且经过培训或调整岗位仍不能胜任，用人单位同样有权将其退回。
用工单位原因：
- 当劳动合同订立时的客观情况发生重大变化，致使合同无法履行，且双方未能就变更合同内容达成协议时，用人单位可以将劳动者退回劳务派遣公司。
- 用工单位因经济性裁员（如企业破产重整、生产经营严重困难等）或被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营时，也可将劳动者退回。
- 劳务派遣协议期满终止时，用工单位同样有权将劳动者退回。
约定情形：
- 如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约将劳动者退回劳务派遣公司。
二、不合法退回的情形
- 若劳动者没有上述法定或约定的可退回情形，用人单位随意将其退回劳务派遣公司，则此退回行为不合法。
- 若劳务派遣协议中没有约定退回情形，或退回情形与法律法规相悖，用工单位的退回行为同样不具有合法性。
三、退回程序与注意事项
- 提前通知与沟通：用工单位在退回劳动者之前，应与劳务派遣公司充分沟通，并按照劳务派遣协议的约定进行操作。同时，用工单位应以书面形式通知劳动者，明确退回的原因、时间等关键信息。
- 权益保障：退回过程中应确保劳动者的合法权益不受侵害，如支付相应的经济补偿（若适用）、办理社保和公积金转移等手续。
- 合法合规：退回必须依法进行，不得违反相关法律法规的规定。否则，用工单位可能面临法律责任，包括连带赔偿责任。
四、退回后的处理与劳动者权益保护
- 无工作期间待遇：被退回的劳动者在无工作期间，劳务派遣公司应按不低于所在地人民政府规定的最低工资标准向其按月支付报酬，并依法缴纳社保。
- 重新派遣与解除劳动合同：劳务派遣公司应积极为被退回的劳动者寻找新的用工单位和岗位，与劳动者协商一致后进行重新派遣。若双方协商一致或符合法定解除情形，可解除劳动合同，但需按法律规定支付经济补偿或赔偿金。
- 维权途径：劳动者认为用人单位将其退回劳务派遣公司的行为不合法时，有权与劳务派遣公司和用人单位协商解决。协商不成时，劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。
总结与建议：
劳动者被用人单位退回劳务派遣公司是否合法，需根据具体情形判断。作为劳动者，应了解自己的权益和义务，在遇到问题时及时寻求法律援助或向相关部门投诉。同时，建议用工单位和劳务派遣公司在制定退回政策时，充分考虑法律要求和实际情况，确保退回过程的合法性和合理性。若您有任何疑问或需要进一步的法律帮助，请随时向我咨询。