派遣员工被调回用人单位（这里理解为被退回劳务派遣单位）的合法性，需根据具体情况来判断。以下是从不同角度进行的详细分析：

1. 合法退回的情形：

   • 劳动者个人原因：根据《中华人民共和国劳动合同法》及《劳务派遣暂行规定》，若劳动者在试用期间被证明不符合录用条件、严重违反用人单位规章制度、严重失职给用人单位造成重大损害、同时与其他用人单位建立劳动关系对完成本单位工作任务造成严重影响且拒不改正、使用欺诈等手段订立或变更劳动合同导致合同无效、被依法追究刑事责任，或患病/非因工负伤医疗期满后不能从事原工作或另行安排的工作、不能胜任工作经过培训或调整岗位仍不能胜任等情形，用人单位可以将其退回劳务派遣单位。
   • 用工单位原因：若劳动合同订立时的客观情况发生重大变化致使合同无法履行且未能就变更合同内容达成协议、经济性裁员（如企业破产重整、生产经营严重困难等）、用工单位被依法宣告破产/吊销营业执照/责令关闭/撤销/决定提前解散或经营期限届满不再继续经营，以及劳务派遣协议期满终止等情形，用人单位同样可以依法将劳动者退回劳务派遣单位。
   • 劳务派遣协议约定：如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约退回劳动者。

2. 不合法退回的情形：

   • 若劳动者没有上述法定或约定的可退回情形，用人单位随意将其退回劳务派遣单位，则此退回行为不合法。
   • 若劳务派遣协议中没有约定退回情形，或退回情形与法律法规相悖，用工单位的退回行为同样不具有合法性。

3. 退回程序与注意事项：

   • 在退回劳动者之前，用工单位应与劳务派遣单位充分沟通，并按照劳务派遣协议的约定进行操作。
   • 退回过程中应确保劳动者的合法权益不受侵害，如支付相应的经济补偿（若适用）等。
   • 退回必须依法进行，不得违反相关法律法规的规定。

4. 退回后的处理：

   • 被退回的劳动者在无工作期间，劳务派遣单位应按不低于所在地人民政府规定的最低工资标准向其按月支付报酬。
   • 如果退回理由符合《劳动合同法》中可以被解除劳动合同的情形，劳务派遣单位可以依法解除与被退回劳动者的劳动合同。

5. 劳动者权益保护：

   • 劳动者认为用人单位将其退回劳务派遣单位的行为不合法时，有权与劳务派遣单位和用人单位协商解决。
   • 协商不成时，劳动者可以通过劳动仲裁等法律途径维护自己的合法权益。

总结与建议：

• 作为劳动者，应了解自己的权益，并在权益受损时及时采取法律措施进行维权。
• 作为用人单位，应严格遵守相关法律法规的规定，确保退回行为的合法性，避免不必要的法律纠纷。
• 若遇到具体问题或争议，建议直接向我咨询，以便根据具体情况提供更详细的法律建议和解决方案。