劳务派遣项目调整退回是否属于违法行为，不能一概而论，需要分情况讨论：
一、合法退回的情形
客观情况发生重大变化：
- 根据《劳动合同法》及相关规定，如果劳务派遣单位与用工单位之间的劳务派遣协议因客观情况发生重大变化（如市场环境变化、业务调整等），导致原派遣项目无法继续履行，且双方无法就变更派遣协议达成一致时，用工单位可以将劳动者退回劳务派遣单位。这种退回行为是合法的，但劳务派遣单位需要按照法律规定与劳动者协商变更劳动合同或支付经济补偿。
劳动者不符合录用条件或严重违纪：
- 如果劳动者在用工单位工作期间，被发现不符合录用条件（如技能、资质等不符合岗位要求）或存在严重违反用工单位规章制度的行为，用工单位也有权将劳动者退回劳务派遣单位。这种情况下，退回行为同样是合法的，但劳务派遣单位需要依法处理与劳动者的劳动关系。
劳务派遣协议约定的其他退回情形：
- 劳务派遣协议中可能还会约定其他退回情形，如劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用工单位另行安排的工作的；或者劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的等。在这些约定情形下，用工单位将劳动者退回劳务派遣单位也是合法的。
二、违法退回的情形
无正当理由退回：
- 如果用工单位没有合法理由，仅因个人喜好、偏见或其他非法定原因将劳动者退回劳务派遣单位，这种行为可能构成违法退回。劳动者有权要求用工单位继续履行劳务派遣协议，或者要求劳务派遣单位支付违法解除劳动合同的赔偿金。
违反法定程序退回：
- 即使存在合法退回的理由，如果用工单位在退回过程中违反了法定程序（如未提前通知劳动者、未与劳务派遣单位协商等），也可能构成违法退回。这种情况下，劳动者同样有权要求用工单位或劳务派遣单位承担相应的法律责任。
三、法律建议
对于用工单位：
- 在退回劳动者前，应仔细审查退回理由是否合法、充分，并确保退回程序符合法律规定。
- 与劳务派遣单位保持良好沟通，共同协商处理退回事宜，避免引发劳动纠纷。
对于劳动者：
- 如果被用工单位退回，应首先了解退回理由和程序是否合法。
- 如果认为退回行为违法，可以与劳务派遣单位协商解决，或者向劳动争议调解仲裁机构申请调解、仲裁，甚至向人民法院提起诉讼。
对于劳务派遣单位：
- 应加强对用工单位的监督和管理，确保用工单位依法退回劳动者。
- 在处理退回劳动者事宜时，应依法与劳动者协商变更劳动合同或支付经济补偿，避免引发不必要的法律纠纷。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。