在劳务派遣关系中，用工单位并非可以随意将被派遣劳动者退回劳务派遣单位。根据相关法律法规，以下情形用工单位不得将被派遣劳动者退回劳务派遣单位：

1. 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或者疑似职业病病人在诊断或者医学观察期间的：

   • 在此期间，劳动者可能因接触职业病危害而面临健康风险，用工单位有责任保障其权益，不得随意退回。

2. 在本单位患职业病或者因工负伤并被确认丧失或者部分丧失劳动能力的：

   • 劳动者因工作原因患职业病或负伤，且已确认丧失或部分丧失劳动能力，用工单位应承担相应责任，不得退回。

3. 患病或者非因工负伤，在规定的医疗期内的：

   • 劳动者在医疗期内享有医疗期权益，用工单位不得在此期间将其退回。

4. 女职工在孕期、产期、哺乳期的：

   • 根据相关法律法规，女职工在孕期、产期、哺乳期享有特殊保护，用工单位不得将其退回。

5. 在本单位连续工作满十五年，且距法定退休年龄不足五年的：

   • 此类劳动者因工作年限长且接近退休年龄，用工单位应给予更多保障，不得随意退回。

6. 法律、行政法规规定的其他情形：

   • 除了上述明确列举的情形外，法律、行政法规还可能规定其他不得退回的情形，用工单位应严格遵守。

此外，派遣期限届满的，上述六种情形应当延续至相应情形消失时方可退回。这意味着，即使派遣期限已满，只要劳动者仍处于上述不得退回的情形之一，用工单位仍不得将其退回劳务派遣单位。

用工单位若违反规定退回被派遣劳动者，将面临劳动行政部门的责令限期改正，逾期不改正的，还将被处以罚款，并可能需与劳务派遣单位承担连带赔偿责任。因此，用工单位在处理劳务派遣关系时，应严格遵守相关法律法规，确保劳动者的合法权益不受侵害。如有任何疑问或需要进一步的法律咨询，请直接向我提问。