子公司无权随意退回派遣单位，这一说法在一定条件下是合法的。具体分析如下：

在劳务派遣关系中，子公司作为用工单位，与劳务派遣单位及被派遣劳动者之间存在着三方的法律关系。根据《劳动合同法》的相关规定，被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位。这意味着，在符合法定情形的情况下，子公司有权将劳动者退回劳务派遣单位。

然而，并非所有情况下子公司都有权退回派遣单位。如果子公司没有合法的理由，如劳动者没有严重违反公司规章制度、没有不能胜任工作等情况，那么子公司就无权随意退回派遣单位。此时，如果子公司强行退回派遣单位，可能会面临法律风险，如被劳动者或劳务派遣单位提起劳动争议仲裁或诉讼。

因此，子公司在考虑退回派遣单位时，必须谨慎行事，确保自己的行为符合法律法规的规定。如果子公司对劳务派遣关系中的权利义务存在疑问，或者面临具体的法律问题，建议及时咨询专业律师，以获取准确的法律意见和解决方案。

总的来说，子公司无权随意退回派遣单位，但在符合法定情形的情况下，子公司有权将劳动者退回劳务派遣单位。在具体操作中，子公司应严格遵守法律法规的规定，确保自己的行为合法合规。