劳务派遣单位不可以随时退回劳务派遣工，退回行为必须遵循法定条件和程序。以下是对这一问题的详细解答：
一、法律依据
根据《中华人民共和国劳动合同法》和《劳务派遣暂行规定》的相关规定，劳务派遣工的权益受到法律保护，用人单位（包括劳务派遣单位和用工单位）不得随意解除或终止劳动合同，必须依法进行。
二、合法退回的情形
劳动者存在过错：
- 在试用期间被证明不符合录用条件的；
- 严重违反用人单位的规章制度的；
- 严重失职，营私舞弊，给用人单位造成重大损害的；
- 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
- 以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或者变更劳动合同的；
- 被依法追究刑事责任的。
无过失性退回（需提前通知或支付代通知金）：
- 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
- 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；
- 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。
经济性裁员（需满足特定程序和条件）：
- 依照企业破产法规定进行重整的；
- 生产经营发生严重困难的；
- 企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；
- 其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的。
劳务派遣特定情形下的退回：
- 劳务派遣协议期满终止；
- 被派遣劳动者有上述法定解除情形中的部分情形，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。
三、非法退回的后果
如果用工单位或劳务派遣单位违法退回劳务派遣工，根据《劳动合同法》的相关规定，应当依照经济补偿标准的二倍向劳动者支付赔偿金。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
四、注意事项
- 程序合法性：用工单位或劳务派遣单位在退回劳务派遣工时，必须遵循法定程序，如提前通知、支付经济补偿金（如适用）、办理离职手续等。
- 证据充分性：在退回过程中，用工单位或劳务派遣单位应确保有充分的证据证明劳动者存在违法违纪行为或符合其他退回条件。否则，可能面临劳动争议和法律风险。
- 避免歧视性退回：用工单位或劳务派遣单位不得以性别、民族、种族、宗教信仰等为由退回劳务派遣工，否则将构成歧视性退回，需承担相应的法律责任。
综上所述，劳务派遣单位不可以随时退回劳务派遣工，必须遵循法定条件和程序。如有任何疑问或需要进一步的法律帮助，请咨询专业律师或相关劳动部门。