结论：降低返聘退休人员绩效工资是否违法，需根据具体情况判断，主要包括是否违反劳务合同约定、是否违反法律法规或特定行业规定等角度进行分析。以下是对此问题的详细解答：

1. 劳务合同约定角度：

   • 返聘退休人员与用人单位之间建立的是劳务关系，而非劳动关系。双方应签订劳务合同，明确工作内容、工作时间、工资待遇（包括绩效工资）等条款。
   • 若劳务合同中明确约定了绩效工资的标准或计算方式，且用人单位未经退休人员同意单方面降低绩效工资，则可能构成违约。退休人员有权依据劳务合同要求用人单位支付约定的绩效工资，或寻求法律途径维护自身权益。

2. 法律法规角度：

   • 目前，我国法律法规并未对返聘退休人员的绩效工资作出具体规定。因此，降低绩效工资是否违法，主要取决于是否违反了劳务合同的约定以及是否存在其他违法行为（如歧视、不公平对待等）。
   • 若用人单位降低绩效工资的行为缺乏合法依据，且对退休人员造成了不公平对待或经济损失，则可能构成违法行为。退休人员可以依法向相关部门投诉或提起诉讼，要求用人单位承担相应的法律责任。

3. 特定行业规定角度：

   • 在某些特定领域或岗位，对退休人员返聘可能有严格的限制或特殊规定。例如，国有企业、金融行业特定岗位、公职领域等，可能对退休人员的薪酬待遇有专门的规定。
   • 若用人单位降低返聘退休人员绩效工资的行为违反了特定行业的规定，则可能构成违规行为。退休人员可以向相关行业主管部门投诉或寻求法律帮助，以维护自身合法权益。

法律建议：

• 对于用人单位而言，在返聘退休人员时，应签订明确的劳务合同，并严格遵守合同约定和法律法规的规定。如需调整绩效工资等薪酬待遇，应与退休人员协商一致，并签订书面协议。
• 对于退休人员而言，在签订劳务合同时，应仔细阅读合同条款，特别是关于薪酬待遇的约定。如发现用人单位未经同意单方面降低绩效工资等违法行为，应及时与用人单位沟通协商，或寻求法律途径维护自身权益。

可能法律后果：

• 若用人单位违反劳务合同约定或法律法规规定降低返聘退休人员绩效工资，可能面临支付违约金、赔偿损失等法律责任。同时，还可能影响用人单位的声誉和信誉度，对未来的招聘和用工产生不利影响。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。