非协议主体且非用工单位的关联性公司，一般不可以直接把派遣工退回派遣单位。以下从不同角度进行分析：
从劳务派遣的基本法律关系角度
在劳务派遣中，存在三方主体：劳务派遣单位（用人单位）、用工单位和被派遣劳动者。劳务派遣单位与被派遣劳动者签订劳动合同，建立劳动关系；用工单位实际使用被派遣劳动者，与劳务派遣单位签订劳务派遣协议。根据《劳务派遣暂行规定》等相关法律法规，用工单位有权按照法律规定和劳务派遣协议的约定，将不符合录用条件、严重违反规章制度等情形的被派遣劳动者退回劳务派遣单位。但这一权利的主体是劳务派遣协议中的用工单位，而非其他非协议主体且非用工单位的关联性公司。
从合同相对性原则角度
劳务派遣协议是劳务派遣单位与用工单位之间签订的合同，其权利义务关系仅约束合同双方当事人。非协议主体且非用工单位的关联性公司，并非劳务派遣协议的当事人，不受该协议的约束，也不享有协议中约定的用工单位将派遣工退回派遣单位的权利。如果该关联性公司擅自将派遣工退回派遣单位，可能构成对劳务派遣单位和用工单位之间合同关系的干涉，引发法律纠纷。
特殊情况分析
虽然一般情况下非协议主体且非用工单位的关联性公司不能直接退回派遣工，但在某些特殊情况下，如果该关联性公司受用工单位委托，且委托事项明确包括将符合特定条件的派遣工退回派遣单位，同时该委托行为符合法律规定和劳务派遣协议的约定，那么在这种情况下，该关联性公司可能基于委托关系实施退回行为。但这种情况需要严格的法律要件和证据支持，包括明确的委托授权、符合退回条件的派遣工情况等。
法律后果提示
如果非协议主体且非用工单位的关联性公司擅自将派遣工退回派遣单位，可能面临以下法律后果：
建议：在实际操作中，如果非协议主体且非用工单位的关联性公司认为需要退回派遣工，应当与劳务派遣单位和用工单位进行沟通协商，明确退回的理由和依据，并按照法律规定和劳务派遣协议的约定办理相关手续。如果有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。