用工单位不可以仅因业务下降、岗位缩减就随意退回派遣员工，退回派遣员工需符合法定或约定的情形。以下从不同角度进行分析：

法定退回情形

根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：

1. 用工单位有劳动合同法第四十条第三项、第四十一条规定情形的：
   • 劳动合同法第四十条第三项规定，劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。例如，用工单位因市场环境变化、政策调整等，导致原派遣岗位的工作内容、工作地点等发生重大改变，且无法与派遣员工就变更岗位等事宜协商一致，此时用工单位可以退回派遣员工。
   • 劳动合同法第四十一条规定的是经济性裁员的情形，如依照企业破产法规定进行重整的；生产经营发生严重困难的；企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的等。但需要注意的是，经济性裁员针对的是用工单位自己的员工，对于劳务派遣员工，一般不直接适用经济性裁员规定，不过如果符合客观情况重大变化等类似情形，可参照退回。
2. 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的：在这些情况下，用工单位自身无法继续经营，自然无法继续使用派遣员工，因此可以将派遣员工退回。
3. 劳务派遣协议期满终止的：劳务派遣协议是用工单位与劳务派遣单位之间签订的，约定双方权利义务的协议。当协议期满，双方未续签的，用工单位可以将派遣员工退回。

如果用工单位仅以业务下降、岗位缩减为由，而不存在上述法定情形，就退回派遣员工，属于违法退回。

约定退回情形

除了法定情形外，用工单位与劳务派遣单位在劳务派遣协议中，还可以约定其他退回派遣员工的情形。但这种约定不能违反法律法规的强制性规定，也不能损害派遣员工的合法权益。例如，双方可以约定在用工单位某项目结束后，将参与该项目的派遣员工退回，但这种约定应当明确、合理，并且要保障派遣员工在退回后的相关权益，如工资支付、经济补偿等。如果约定的退回情形不合理或违法，该约定可能无效，用工单位也不能依据此约定随意退回派遣员工。

违法退回的法律后果

如果用工单位违法退回派遣员工，劳务派遣单位不得以非全日制用工形式招用被派遣劳动者，且应当按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。同时，被派遣员工有权要求用工单位和劳务派遣单位承担连带赔偿责任，赔偿其因违法退回所遭受的损失，如工资损失、福利待遇损失等。

建议：用工单位在考虑退回派遣员工时，一定要仔细审查是否存在法定或约定的退回情形，避免违法退回带来不必要的法律风险。如果对相关问题存在疑问，可以直接向我咨询。