结论：劳动者是否可以要求用人单位退回劳务派遣单位，需分情况讨论。在符合法定或约定情形时，用人单位将劳动者退回劳务派遣单位是合法的，此时劳动者不能随意要求不退回；若不存在法定或约定情形，用人单位随意退回则不合法，劳动者可以依法维权，要求用人单位承担相应责任。以下为你详细分析：
合法退回的情形
- 劳动者个人原因
- 在试用期间被证明不符合录用条件。例如，用工单位招聘时明确要求劳动者需具备某项专业技能，试用期内发现劳动者并不具备该技能，无法完成工作任务，此时用工单位可将劳动者退回劳务派遣单位。
- 严重违反用人单位的规章制度。比如，劳动者多次无故旷工，严重违反了用工单位的考勤制度，用工单位有权将其退回。
- 严重失职，营私舞弊，给用人单位造成重大损害。例如，劳动者在操作重要设备时因疏忽导致设备严重损坏，给用工单位带来巨大经济损失，用工单位可以退回该劳动者。
- 同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或经用人单位提出，拒不改正。若劳动者在为用工单位工作的同时，还在其他单位兼职，且影响了本职工作，经用工单位提醒后仍不改正，用工单位可将其退回。
- 使用欺诈、胁迫手段或乘人之危，使对方在违背真实意思的情况下订立或变更劳动合同，导致合同无效。比如，劳动者在应聘时提供虚假的工作经历，使用工单位在不知情的情况下与其签订了劳动合同，用工单位发现后可以退回劳动者。
- 被依法追究刑事责任。若劳动者因犯罪行为被法院判处刑罚，用工单位可将其退回劳务派遣单位。
- 患病或非因工负伤，医疗期满后不能从事原工作或用人单位另行安排的工作。例如，劳动者患病后经过一段时间的治疗，医疗期结束，但无法再从事原来的岗位工作，用工单位安排其他岗位后仍不能胜任，此时可退回。
- 不能胜任工作，经过培训或调整岗位仍不能胜任。比如，劳动者在销售岗位上业绩一直不达标，用工单位为其提供了销售技巧培训，并调整到其他销售区域，但业绩仍未改善，用工单位可将其退回。
- 用工单位原因
- 劳动合同订立时的客观情况发生重大变化，致使合同无法履行，且未能就变更合同内容达成协议。例如，用工单位因市场环境变化，业务方向发生重大调整，原劳动合同中的工作内容无法继续履行，且与劳动者协商变更合同内容未达成一致，用工单位可将劳动者退回。
- 经济性裁员，如企业破产重整、生产经营严重困难等。当用工单位面临严重的经济困境，需要进行裁员时，可将劳务派遣员工退回劳务派遣单位。
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营。在这种情况下，用工单位无法继续使用劳动者，可将其退回。
- 劳务派遣协议期满终止。若劳务派遣协议约定的期限届满，用工单位可将劳动者退回劳务派遣单位。
此外，如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约退回劳动者。
不合法退回的情形
- 如果劳动者没有上述法定或约定的可退回情形，用人单位随意将其退回劳务派遣单位，则此退回行为不合法。例如，劳动者工作表现良好，没有违反规章制度，也没有患病等情况，用工单位仅因个人喜好就将劳动者退回，这是不合法的。
- 如果劳务派遣协议中没有约定退回情形，或退回情形与法律法规相悖，用工单位的退回行为同样不具有合法性。
劳动者权益保护及应对措施
- 协商解决：劳动者认为用人单位将其退回劳务派遣单位的行为不合法时，有权与劳务派遣单位和用人单位协商解决。例如，劳动者可以与双方沟通，说明自己认为退回行为不合法的理由，争取达成一个合理的解决方案。
- 劳动仲裁：协商不成时，劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。劳动者需要准备相关的证据，如劳动合同、工作记录、退回通知等，向劳动仲裁机构申请仲裁，要求用人单位承担违法退回的责任，如继续履行劳动合同、支付经济补偿等。
建议：劳动者在面对用人单位退回的情况时，要了解自己的权益，仔细分析退回行为是否合法。如果对相关法律问题存在疑问，可以直接向我咨询，我会为你提供专业、详细的解答。