用人单位因考核不合格退回派遣人员是否违法，不能一概而论，需根据具体情况判断。以下从不同角度进行分析：

一、合法退回的情形

1. 派遣协议中有明确约定：

   • 如果劳务派遣协议中明确约定了考核不合格可以作为退回派遣人员的条件，且该约定不违反法律法规的强制性规定，那么用人单位在考核不合格的情况下退回派遣人员是合法的。

2. 考核标准与程序合法：

   • 考核标准应当明确、合理，且经过派遣人员确认或知晓。
   • 考核程序应当公正、透明，确保派遣人员有机会参与并表达意见。
   • 如果考核标准与程序均合法，且派遣人员确实考核不合格，用人单位有权依据协议约定退回派遣人员。

二、违法退回的情形

1. 考核标准与程序不合法：

   • 如果考核标准模糊、不合理，或者考核程序不公正、不透明，导致派遣人员无法了解考核内容或无法参与考核过程，那么用人单位以此为由退回派遣人员可能构成违法。

2. 派遣协议中无相关约定：

   • 如果劳务派遣协议中未明确约定考核不合格可以作为退回派遣人员的条件，用人单位擅自以考核不合格为由退回派遣人员，可能构成违约或违法。

3. 退回后未妥善处理劳动关系：

   • 用人单位退回派遣人员后，劳务派遣单位应当按照法律规定与派遣人员处理劳动关系，如支付经济补偿、办理离职手续等。
   • 如果劳务派遣单位未妥善处理劳动关系，导致派遣人员权益受损，用人单位可能需承担连带责任。

三、法律建议

1. 对于用人单位：

   • 在签订劳务派遣协议时，应明确约定考核标准、程序以及退回条件，确保约定合法、合理、明确。
   • 在进行考核时，应确保考核标准与程序公正、透明，并保留相关证据以备查。
   • 退回派遣人员时，应确保劳务派遣单位妥善处理劳动关系，避免承担连带责任。

2. 对于派遣人员：

   • 在签订劳务派遣协议时，应仔细阅读协议内容，了解考核标准、程序以及退回条件等约定。
   • 如认为考核标准或程序不合法、不合理，应及时向用人单位或劳务派遣单位提出异议。
   • 如被退回后劳动关系未得到妥善处理，可依法向劳务派遣单位或用人单位主张权益。

如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供专业的法律意见和解决方案。