劳务工不可以随意退回劳务公司，是否退回劳务工需根据具体情况和法律规定来判断，以下是详细分析：
合同约定：
- 劳务派遣协议中通常会明确约定退回的条件和程序。如果劳务工存在违反协议约定或劳务公司规章制度的行为，如严重失职、营私舞弊给劳务公司造成重大损害，或者被依法追究刑事责任等，劳务公司可以根据协议约定将其退回。
- 若劳务派遣协议中没有明确约定退回条件，或者约定的条件不合法、不合理，劳务公司则不能随意退回劳务工。
法律规定：
- 根据《中华人民共和国劳动合同法》的相关规定，劳务工在存在特定情形时，如患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；或者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的等，劳务公司可以将其退回，但需要提前三十日以书面形式通知劳务工本人或者额外支付劳务工一个月工资，并按照规定支付经济补偿。
- 如果劳务工不存在上述法定情形，劳务公司则不能随意将其退回，否则可能构成违法解除劳动合同，需要承担相应的法律责任。
实际操作中的注意事项：
- 劳务公司在退回劳务工前，应当仔细审查劳务派遣协议和劳动合同中的相关条款，确保退回行为符合约定和法律规定。
- 劳务公司应当与劳务工进行充分沟通，解释退回的原因和依据，并听取劳务工的意见和申诉。
- 如果劳务工对退回行为有异议，劳务公司应当积极应对，通过协商、调解或仲裁等方式解决争议，避免激化矛盾。