用工单位以劳务派遣者不接受新工作为由退回劳务派遣公司是不合法的。具体分析如下：
法律依据
- 《劳动合同法》第六十五条：被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位。这意味着，用工单位退回派遣员工的情形应是法定的，不能随意退回。
- 《劳务派遣暂行规定》第十二条：明确列举了用工单位可以将被派遣劳动者退回劳务派遣单位的情形，如劳动者患病或者非因工负伤、不能胜任工作等，但并未包括“不接受新工作”这一情形。
具体分析
- 退回情形法定：根据《劳动合同法》和《劳务派遣暂行规定》，用工单位退回派遣员工的情形是法定的，必须符合法律规定的情形才能退回。而“不接受新工作”并不属于法律规定的退回情形。
- 保障劳动者权益：劳务派遣作为一种特殊的用工方式，其目的在于为用工单位提供灵活的劳动力，但同时也应保障劳动者的合法权益。如果允许用工单位以“不接受新工作”为由随意退回劳动者，将严重损害劳动者的权益，破坏劳务派遣制度的稳定性。
法律后果
如果用工单位违反法律规定，以“不接受新工作”为由退回劳务派遣公司的劳动者，那么用工单位可能需要承担相应的法律责任，包括但不限于对劳动者的损失承担连带责任。
综上所述，用工单位以劳务派遣者不接受新工作为由退回劳务派遣公司是不合法的。如果劳动者遇到此类情况，可以依法维护自己的权益，向劳务派遣公司或用工单位提出质疑，并寻求法律援助或劳动仲裁机构的帮助。