要判断劳务派遣人员被用工单位违法退回，需从以下几个方面进行考量：
- 退回情形是否合法：
- 因被派遣劳动者自身原因：如试用期间不符合录用条件、严重违反规章制度、严重失职或营私舞弊、建立多重劳动关系、欺诈胁迫订立合同、被追究刑事责任、患病或非因工负伤不能胜任工作、不能胜任工作等情形，用工单位有权退回。但需确保这些情形真实存在，且有充分证据支持。
- 因用工单位自身原因：如客观情况发生重大变化、企业重整或经营困难、转产技术革新或经营方式调整、企业终止经营等情形，用工单位也可退回。但同样需确保这些情形符合法律法规要求，且已履行相应程序。
- 因劳务派遣协议期满：当劳务派遣协议到期且未续签时，用工单位可将派遣员工退回。但需确保协议已到期，且未续签。
- 其他特定情形：如协商一致、约定退回情形等，也需确保符合法律法规要求，且已履行相应程序。
若用工单位退回派遣员工的情形不符合上述任何一种，或虽符合但缺乏充分证据支持，则可能构成违法退回。
退回程序是否合规：
- 用工单位在退回派遣员工时，应事先通知工会，并向劳务派遣单位出具书面退回通知，说明退回原因和时间。同时，还需做好与员工的工作交接。
- 若用工单位未履行上述程序，如未事先通知工会、未出具书面退回通知、未说明退回原因和时间、未妥善处理工作交接等，则可能构成程序违法。
违法退回的法律后果：
- 若用工单位违法退回派遣员工，给派遣员工造成损害的，劳务派遣单位与用工单位需承担连带赔偿责任。这意味着派遣员工有权要求两者共同赔偿其因违法退回而遭受的损失。
举例说明：
假设小胡通过劳务派遣到某单位工作，期间严重违反了单位的规章制度。用工单位决定将小胡退回劳务派遣公司，但未事先通知工会，仅口头告知了派遣单位，且未说明具体退回原因和时间，也未妥善处理与小胡的工作交接。在此情况下，虽然小胡严重违反单位规章制度符合过错性退回的条件，但用工单位的退回程序存在瑕疵，可能构成违法退回。若因此给小胡造成损害，小胡有权要求劳务派遣单位与用工单位共同承担赔偿责任。
综上所述，要判断劳务派遣人员被用工单位违法退回，需从退回情形是否合法、退回程序是否合规以及违法退回的法律后果等方面进行考量。如有任何疑问或需要进一步的法律咨询，请直接向我提问。