退回绩效工资是否违法，不能一概而论，需要分情况讨论：
如果绩效工资是劳动合同约定的固定组成部分：
- 法律背景：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者签订的劳动合同是双方权利和义务的依据。如果劳动合同中明确约定了绩效工资作为工资的一部分，并且没有规定用人单位可以单方面调整或退回的条件，那么用人单位擅自退回绩效工资就可能构成违法。
- 法律后果：劳动者有权要求用人单位按照劳动合同的约定支付全额工资，包括绩效工资。如果用人单位拒绝支付，劳动者可以向劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
如果绩效工资与劳动者的绩效表现挂钩，且劳动合同或公司规章制度中有明确规定：
- 法律背景：在这种情况下，绩效工资通常被视为一种浮动工资，其支付与劳动者的绩效表现直接相关。如果劳动合同或公司规章制度中明确规定了绩效工资的支付条件、计算方式以及退回的情形，并且这些规定不违反法律法规的强制性规定，那么用人单位在劳动者绩效不达标时退回部分或全部绩效工资可能是合法的。
- 注意事项：然而，即使在这种情况下，用人单位也必须确保绩效评估的公正性和合理性，不能随意降低劳动者的绩效评分或退回绩效工资。如果劳动者对绩效评估结果有异议，用人单位应提供充分的证据来支持其决定。
如果用人单位未经劳动者同意，单方面变更劳动合同中关于绩效工资的约定：
- 法律背景：根据《中华人民共和国劳动合同法》的规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。如果用人单位未经劳动者同意，单方面变更劳动合同中关于绩效工资的约定，如降低绩效工资标准或增加退回条件等，这种变更通常是无效的。
- 法律后果：劳动者有权要求用人单位按照原劳动合同的约定支付工资，包括绩效工资。如果用人单位拒绝履行原合同，劳动者同样可以向劳动监察部门投诉或申请劳动仲裁。
建议：
- 对于劳动者而言，如果发现用人单位擅自退回绩效工资，首先应查看自己的劳动合同和公司规章制度，了解绩效工资的支付条件和退回情形。如果认为用人单位的行为违法或不合理，可以与用人单位进行沟通协商，要求支付全额工资。如果协商无果，可以向劳动监察部门投诉或申请劳动仲裁。
- 对于用人单位而言，应确保劳动合同和公司规章制度的合法性和合理性，明确绩效工资的支付条件和退回情形，并在绩效评估过程中保持公正和透明。如果需要变更劳动合同中关于绩效工资的约定，应与劳动者协商一致并签订书面变更协议。
总结：退回绩效工资是否违法取决于多种因素，包括劳动合同的约定、公司规章制度的规定以及绩效评估的公正性和合理性等。如果你在这方面有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。