用工单位以用人单位解除协议为由退回派遣劳动者，其合法性需根据具体情况判断，不能一概而论。以下从多个角度进行分析：
一、合法退回的情形
符合法定退回条件：
- 根据《劳务派遣暂行规定》第十二条，用工单位在以下情形下可以将被派遣劳动者退回劳务派遣单位：
- 劳动合同订立时的客观情况发生重大变化，致使劳动合同无法履行，且未能就变更劳动合同内容达成协议；
- 用工单位依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营；
- 劳务派遣协议期满终止。
- 若用工单位因上述原因退回劳动者，且程序合法，则退回行为是合法的。
劳务派遣协议约定：
- 如果劳务派遣协议中明确约定了退回情形，且这些情形不违反法律法规，用工单位也可依约退回劳动者。
二、不合法退回的情形
不符合法定或约定退回条件：
- 如果劳动者没有上述法定或约定的可退回情形，用工单位随意将其退回劳务派遣单位，则此退回行为不合法。例如，用工单位以“无岗”为由随意退回，且该“无岗”非客观、合理情况，如恶意调整岗位以达到退回目的，则退回本身不合法。
未履行法定程序：
- 即使符合退回条件，用工单位也需遵循法定程序，如提前通知、说明理由等。若未履行，则退回行为可能违法。
三、退回后的处理及法律后果
劳务派遣单位的责任：
- 被退回的劳动者在无工作期间，劳务派遣单位应按不低于所在地人民政府规定的最低工资标准向其按月支付报酬。
- 如果退回理由符合《劳动合同法》中可以被解除劳动合同的情形（如劳动者存在过错或非因工负伤不能从事原工作等），劳务派遣单位可以依法解除与被退回劳动者的劳动合同。但需注意，若劳务派遣单位有能力继续履行合同且有合适岗位可安排，却直接解除合同，可能损害劳动者权益，构成违法。
法律后果：
- 若用工单位或劳务派遣单位的退回或解除行为违法，劳动者有权要求继续履行劳动合同或要求支付违法解除劳动合同赔偿金。赔偿金的标准为经济补偿标准的二倍。
四、建议
对于劳动者：
- 了解自身权益，包括法定退回情形、退回后的待遇保障等。
- 在权益受损时，及时与劳务派遣单位和用工单位协商解决；协商不成时，可通过劳动仲裁等法律途径维护自己的合法权益。
对于用工单位和劳务派遣单位：
- 严格遵守相关法律法规的规定，确保退回和解除行为的合法性。
- 在退回劳动者前，与劳务派遣单位充分沟通，并按照劳务派遣协议的约定进行操作。
- 退回过程中确保劳动者的合法权益不受侵害，如支付相应的经济补偿等。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。