非协议主体且非用工单位一般情况下不可以直接退回派遣工。以下从不同角度进行详细分析：
一、劳务派遣的基本法律关系
在劳务派遣中，存在三方主体：劳务派遣单位（用人单位）、用工单位和被派遣劳动者。劳务派遣单位与被派遣劳动者签订劳动合同，建立劳动关系，并将劳动者派遣至用工单位工作。用工单位则负责被派遣劳动者的工作安排和管理，但与被派遣劳动者之间并不建立劳动关系。
二、退回派遣工的法定情形
根据《劳务派遣暂行规定》等相关法律法规，用工单位可以将被派遣劳动者退回劳务派遣单位的情形主要包括：
用工单位有合法理由：如被派遣劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；或者劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用工单位与被派遣劳动者协商，未能就变更劳动合同内容达成协议的。
劳务派遣协议约定：如果劳务派遣单位与用工单位在劳务派遣协议中明确约定了退回被派遣劳动者的情形，且这些情形不违反法律法规的强制性规定，那么用工单位可以按照协议约定退回被派遣劳动者。
被派遣劳动者存在过错：如被派遣劳动者严重违反用工单位的规章制度，或者严重失职、营私舞弊给用工单位造成重大损害等。
三、非协议主体且非用工单位退回派遣工的合法性分析
非协议主体：如果退回派遣工的主体并非劳务派遣协议中的任何一方，即既非劳务派遣单位也非用工单位，那么该主体通常没有法律上的权利直接退回派遣工。因为劳务派遣关系是基于劳务派遣协议而建立的，只有协议中的主体才有权按照协议约定或法律规定行使相关权利。
非用工单位：即使退回派遣工的主体与用工单位存在某种关联关系（如母公司与子公司），但如果该主体并非劳务派遣协议中的用工单位，那么它同样没有法律上的权利直接退回派遣工。用工单位在劳务派遣关系中具有特定的法律地位和权利义务，其他主体不能随意替代或行使这些权利义务。
四、建议与风险提示
对于非协议主体且非用工单位：如果希望退回派遣工，应当与劳务派遣单位或用工单位进行协商，并按照法律法规和劳务派遣协议的约定进行操作。切勿擅自采取行动，以免引发法律纠纷和赔偿责任。
对于劳务派遣单位和用工单位：应当严格遵守法律法规和劳务派遣协议的约定，确保劳务派遣关系的合法性和稳定性。在退回派遣工时，应当遵循法定程序和条件，并妥善处理相关事宜，以避免引发不必要的法律风险和纠纷。
对于被派遣劳动者：如果遭遇非法退回或解除劳动合同的情况，应当及时向劳务派遣单位或用工单位提出异议，并寻求法律援助或咨询专业律师以维护自己的合法权益。
综上所述，非协议主体且非用工单位一般情况下不可以直接退回派遣工。如有相关需求或疑问，建议直接向我咨询，以便获得更具体、更专业的法律建议。