若被用人单位以不能胜任为由退回劳务派遣公司，劳动者可采取以下措施维护自身权益：

1. 核查退回的合法性
   根据《劳动合同法》第六十五条及《劳务派遣暂行规定》第十二条，用人单位以“不能胜任工作”为由退回劳务派遣工，需满足以下条件：

   • 程序合法性：用人单位需证明已对劳动者进行培训或调岗，且劳动者仍不能胜任工作（需留存培训记录、调岗通知、考核结果等证据）；
     
   • 实体合法性：退回理由需与劳动合同约定或岗位职责直接相关，且无歧视性、主观性评价（如“态度不好”等模糊理由可能被认定为违法）。
     若用人单位未履行上述程序或证据不足，退回行为可能被认定为违法。

2. 向劳务派遣公司主张权利
   被退回后，劳务派遣公司不得随意解除劳动合同，需根据《劳务派遣暂行规定》第十五条处理：

   • 重新派遣：劳务派遣公司应为你重新安排工作，工资待遇不得低于原岗位；
     
   • 协商解除：若你同意解除合同，劳务派遣公司需支付经济补偿（按工作年限，每满1年支付1个月工资）；
     
   • 违法解除：若劳务派遣公司无正当理由解除合同，你可主张赔偿金（经济补偿的2倍）。
     若劳务派遣公司未履行上述义务，你可向劳动监察部门投诉或申请劳动仲裁。

3. 直接向用人单位主张责任（特殊情形）
   若退回行为系用人单位违法导致（如未培训、证据造假），你可根据《劳动合同法》第九十二条要求用人单位与劳务派遣公司承担连带赔偿责任，包括：

   • 违法解除赔偿金；
     未支付的工资、加班费等；
     
   • 因违法退回导致的其他损失（如求职费用、误工费等）。
     

行动建议：

1. 收集证据：保留劳动合同、派遣协议、考核记录、培训材料、调岗通知等书面证据；
   
2. 书面异议：向用人单位和劳务派遣公司发送书面异议，要求说明退回理由及依据；
   
3. 申请仲裁：若协商无果，可在1年内向劳动争议仲裁委员会申请仲裁，主张违法退回赔偿或继续履行合同；
   
4. 法律援助：若经济困难，可向当地法律援助中心申请免费律师协助。
   

注：劳务派遣纠纷涉及三方关系，法律程序较复杂，建议根据具体证据和当地司法实践制定策略。如有进一步问题，可直接向我咨询。