不给安排工作降低绩效工资违法。公司或用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。绩效工资作为劳动报酬的一部分，其发放应基于员工的绩效考核结果，并遵循劳动合同及单位制度的约定。

详细分析

1. 劳动合同与公司规章制度的约束力：

   • 根据《中华人民共和国劳动合同法》第二十九条，用人单位与劳动者应全面履行劳动合同约定的义务。若合同中明确了绩效工资的发放条件、标准和方式，用人单位需按约履行。
   • 若劳动合同或公司规章制度中明确规定了绩效工资的发放与员工的工作表现挂钩，且员工因未被安排工作而无法达到绩效标准，用人单位以此为由降低绩效工资，则可能构成对劳动合同的违约。

2. 绩效工资的发放原则：

   • 绩效工资通常基于员工的绩效考核结果来发放，若员工因非个人原因（如未被安排工作）而无法达到绩效标准，用人单位不应以此为由降低其绩效工资。
   • 用人单位在降低绩效工资前，应与员工进行沟通，并明确说明降低的原因和依据，确保行为的合法性和合理性。

3. 劳动者的应对措施：

   • 若用人单位无故降低绩效工资，劳动者可以与用人单位协商解决，要求恢复原有的绩效工资水平或提供合理的解释和依据。
   • 若协商不成，劳动者可以向当地劳动监察部门投诉，请求其介入调查并处理。此外，劳动者还可以申请劳动仲裁或提起诉讼，通过法律途径来维护自己的合法权益。

综上所述，不给安排工作降低绩效工资是违法的。用人单位应遵守劳动合同及公司规章制度的约定，确保绩效工资的发放合法、合理且及时。劳动者在遇到相关问题时，应依法维护自己的合法权益。