绩效工资单位不可以自由分配。绩效工资的发放需根据劳动合同约定、公司规章制度以及实际考核情况等因素综合确定，并非单位可以随意决定。

具体来说，绩效工资的发放通常分为以下几种情况：

1. 绩效奖金类：若劳动合同或双方约定中未就绩效工资的金额作出明确约定，且实际发放过程中每月金额也不固定，此类绩效工资类似于绩效奖金，单位可以根据实际情况决定发与不发、发放多少。但即便如此，也应遵循公平、合理、透明的原则，并确保不违反相关法律法规。

2. 固定工资类：若劳动合同中明确约定了绩效工资的金额，并且该金额属于劳动者固定工资组成部分，那么单位应严格按照合同约定发放绩效工资，不得随意扣发或取消。

3. 考核工资类：若单位实行绩效考核制度，并根据考核结果发放绩效工资，那么单位应严格按照考核制度执行，确保考核过程客观、公正、透明。若单位未按照考核制度履行考核义务，或考核结果缺乏客观性和合理性，那么单位扣发绩效工资的行为将缺乏事实依据，劳动者有权要求单位补足绩效工资。

综上所述，绩效工资并非单位可以自由分配的“随意金”，而是需根据劳动合同、公司规章制度以及实际考核情况等因素综合确定。若单位在绩效工资的发放上存在违法行为，劳动者有权依法维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。