用人单位不可以随时把派遣工退回，这一行为必须遵循《中华人民共和国劳动合同法》及相关法律法规的明确规定。以下是对此问题的详细解答：
一、法律依据
根据《中华人民共和国劳动合同法》及其相关规定，劳务派遣工的退回（即用工单位将劳务派遣工退回劳务派遣单位）并非随意进行，而是需要满足特定的法律条件。这些条件旨在保护劳务派遣工的合法权益，防止用工单位滥用退回权。
二、退回条件
法定解除情形：
- 当劳务派遣工存在《中华人民共和国劳动合同法》第三十九条规定的情形时，如严重违反用人单位规章制度、严重失职造成重大损害、被依法追究刑事责任等，用工单位可以将其退回劳务派遣单位。
- 此外，若劳务派遣工存在《中华人民共和国劳动合同法》第四十条第一项、第二项规定的情形，如患病或非因工负伤后不能从事原工作、不能胜任工作等，且经过培训或调整工作岗位后仍不能胜任的，用工单位同样可以将其退回。
劳务派遣协议期满或法定退回情形：
- 当劳务派遣协议期满终止，或者出现其他法定退回情形（如用工单位因经营状况发生严重困难需要裁员等）时，用工单位也可以将劳务派遣工退回劳务派遣单位。
三、退回程序
书面通知：
- 用工单位在决定退回劳务派遣工时，必须以书面形式通知劳务派遣单位和劳动者本人，明确退回的原因和依据。
劳务派遣单位的处理：
- 劳务派遣单位在收到退回通知后，应依法进行审查，并决定是否与劳动者解除劳动合同。若决定解除劳动合同，劳务派遣单位需提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资。
四、经济补偿
- 根据《中华人民共和国劳动合同法》的相关规定，如果劳务派遣单位依法与劳动者解除劳动合同，且不属于劳动者过错导致合同解除的情形（如劳动者被依法追究刑事责任等），那么劳务派遣单位需要向劳动者支付经济补偿金。
- 经济补偿金的计算标准按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
五、注意事项
- 程序合法性：用工单位在退回劳务派遣工时，必须严格遵循法定程序，确保程序的合法性和正当性。
- 证据充分性：用工单位应确保有充分的证据证明劳务派遣工存在符合退回条件的情形，以避免劳动争议和法律风险。
- 避免滥用退回权：用工单位不得滥用退回权，随意将劳务派遣工退回劳务派遣单位，损害劳动者的合法权益。
综上所述，用人单位不可以随时把派遣工退回，而是需要满足特定的法律条件并遵循法定程序。这一规定旨在保护劳务派遣工的合法权益，维护劳动市场的稳定和公平。