被派遣单位单方退掉被派遣劳动者的法律后果，主要涉及以下几个方面：

1. 法律责任与处罚：

   • 根据《中华人民共和国劳动合同法》第九十二条第二款，劳务派遣单位、用工单位违反本法有关劳务派遣规定的，由劳动行政部门责令限期改正；逾期不改正的，以每人五千元到一万元的标准处以罚款，对劳务派遣单位，吊销其劳务派遣业务经营许可证。这意味着，如果用工单位（即被派遣单位）违法退回被派遣劳动者，且逾期不改正，将面临罚款甚至吊销劳务派遣业务经营许可证的处罚。
   • 同时，如果用工单位的行为给被派遣劳动者造成了损害，劳务派遣单位与用工单位需要承担连带赔偿责任。

2. 被派遣劳动者的权益保障：

   • 被派遣劳动者在被退回后，有权要求劳务派遣单位按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬，直至重新派遣或劳动合同解除。
   • 如果被派遣劳动者认为用工单位的退回行为违法，且造成了损害，他们有权通过劳动仲裁或诉讼等途径，要求用工单位和劳务派遣单位承担相应的法律责任，包括但不限于经济补偿、赔偿金等。

3. 对用工单位的影响：

   • 违法退回被派遣劳动者不仅可能导致法律处罚，还可能影响用工单位的声誉和业务运营。例如，如果用工单位频繁违法退回劳动者，可能会引发劳动者的不满和抗议，进而影响企业的稳定和发展。
   • 此外，用工单位还需要考虑与劳务派遣单位的合作关系。如果因为违法退回行为导致与劳务派遣单位的合作破裂，用工单位可能需要重新寻找合适的劳务派遣单位，这无疑会增加企业的运营成本和风险。

4. 对劳务派遣单位的影响：

   • 劳务派遣单位作为被派遣劳动者的用人单位，需要承担相应的雇主责任。如果用工单位违法退回被派遣劳动者，且劳务派遣单位未能及时妥善处理，可能会导致被派遣劳动者向劳务派遣单位主张权利，要求支付经济补偿、赔偿金等。
   • 同时，劳务派遣单位还需要面对劳动行政部门的处罚和监管。如果因为违法退回行为导致被吊销劳务派遣业务经营许可证，劳务派遣单位将无法继续从事劳务派遣业务，这无疑会对企业的生存和发展造成严重影响。

综上所述，被派遣单位单方退掉被派遣劳动者的法律后果是严重的，不仅可能导致法律处罚和声誉损失，还可能影响企业的稳定和发展。因此，用工单位和劳务派遣单位在处理被派遣劳动者的问题时，应当严格遵守相关法律法规，确保劳动者的合法权益得到保障。如果您有关于劳动工伤（劳务派遣）方面的任何法律问题，都可以直接向我咨询。