工作20年后被退回劳务公司是否合法，不能一概而论，需要结合具体情况和相关法律法规来综合判断。以下是从不同角度进行的分析：
劳动合同与派遣协议的约定：
- 首先，要查看您与劳务公司签订的劳动合同以及劳务公司与用工单位签订的派遣协议中，是否有关于工作年限、退回条件等具体约定。如果合同或协议中有明确规定，在符合约定条件的情况下，用工单位将您退回劳务公司可能是合法的。
- 例如：如果合同中约定，当用工单位业务调整或您不胜任工作时，用工单位有权将您退回劳务公司，且这一约定不违反法律法规的强制性规定，那么用工单位的退回行为就可能是合法的。
退回的合法性依据：
- 根据《劳动合同法》及相关规定，用工单位在特定情况下有权将劳务派遣员工退回劳务公司，如劳务派遣员工存在严重违反用工单位规章制度、不能胜任工作且经过培训或调岗后仍不能胜任、客观情况发生重大变化导致原合同无法履行等情形。
- 但需要注意的是：如果用工单位退回您的理由不成立或违反法律法规，那么这一退回行为就是违法的。例如，用工单位不能仅因您年龄较大或工作年限较长就随意将您退回。
劳务公司的后续处理：
- 当您被退回劳务公司后，劳务公司应依法处理您的劳动关系。根据《劳动合同法》的规定，劳务公司可以与您协商解除劳动合同，或者根据实际情况重新派遣您到其他用工单位工作。
- 如果劳务公司违法解除劳动合同：如未提前通知、未支付经济补偿等，您有权要求劳务公司承担相应的法律责任，包括支付赔偿金等。
您的权益保护：
- 如果您认为用工单位或劳务公司的行为违法，侵犯了您的合法权益，您可以向当地劳动监察部门投诉或申请劳动仲裁。
- 在申请劳动仲裁时：您需要提供相关证据证明用工单位或劳务公司的违法行为，如劳动合同、派遣协议、退回通知、工资单等。劳动仲裁机构将根据事实和法律法规作出裁决，维护您的合法权益。
针对您的情况，我建议您：
- 首先查看劳动合同和派遣协议中的相关约定，了解退回的具体条件和程序。
- 如果认为退回行为违法或不合理，及时与劳务公司和用工单位沟通协商，寻求解决方案。
- 如果协商无果，可以向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。