结论前置：派遣工被非法退回时，您作为被派遣劳动者，在一定条件下是可以解除劳动合同的，但具体能否解除以及解除后的法律后果，需根据实际情况来判断。以下从不同角度为您详细分析：
一、派遣工被非法退回的法律性质
根据《劳动合同法》及相关规定，劳务派遣单位（用人单位）与用工单位之间签订有劳务派遣协议，该协议对双方的权利义务进行了明确约定。若用工单位违反劳务派遣协议约定或法律规定，将您非法退回劳务派遣单位，这构成了对劳务派遣协议的违反，同时也可能侵犯了您的合法权益。
二、您解除劳动合同的法律依据
《劳动合同法》第三十八条：该条款规定，用人单位有下列情形之一的，劳动者可以解除劳动合同：……（六）法律、行政法规规定劳动者可以解除劳动合同的其他情形。虽然此条款未直接提及非法退回的情况，但非法退回可能构成用人单位（劳务派遣单位）未按照劳动合同约定提供劳动保护或者劳动条件的情形，从而赋予您解除劳动合同的权利。不过，更直接且明确的依据在于劳务派遣的特殊性及相关司法解释。
劳务派遣的特殊性及司法实践：在劳务派遣关系中，若用工单位非法退回您，且劳务派遣单位未采取合理措施（如重新派遣、支付经济补偿等）来保障您的权益，您有权依据《劳动合同法》及相关司法解释，以劳务派遣单位未履行法定义务为由，提出解除劳动合同。
三、解除劳动合同的具体情形及后果
若劳务派遣单位存在过错：如劳务派遣单位与用工单位串通，非法退回您，且未支付经济补偿或未重新派遣，您有权解除劳动合同，并要求劳务派遣单位支付经济补偿。经济补偿的计算依据《劳动合同法》第四十七条，即按您在本单位工作的年限，每满一年支付一个月工资的标准向您支付。六个月以上不满一年的，按一年计算；不满六个月的，向您支付半个月工资的经济补偿。
若劳务派遣单位无过错，但用工单位非法退回：此时，劳务派遣单位可能并非直接责任方，但若其未采取合理措施保障您的权益，您仍可基于劳务派遣单位未履行法定义务（如重新派遣、协商解决等）而提出解除劳动合同。不过，这种情况下经济补偿的支付可能需根据劳务派遣单位与用工单位之间的协议以及实际情况来判断。若劳务派遣单位已尽到合理义务，您单方面解除劳动合同可能无法获得经济补偿，但您可以向用工单位主张因非法退回而造成的损失。
四、建议与注意事项
收集证据：在解除劳动合同前，务必收集好相关证据，如劳务派遣协议、用工单位退回通知、劳务派遣单位的处理情况等，以证明用工单位非法退回及劳务派遣单位未履行法定义务的事实。
协商与沟通：在解除劳动合同前，可尝试与劳务派遣单位及用工单位进行协商与沟通，寻求合理解决方案，如重新派遣、支付经济补偿等。
法律途径：若协商无果，您可通过法律途径维护自己的权益，如向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
最后，派遣工被非法退回时，您能否解除劳动合同以及解除后的法律后果，需根据实际情况来判断。若您在此过程中遇到任何法律问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。