公司无权因员工拒绝异地出差而直接扣罚绩效。针对这一问题，我们可以从以下几个方面进行分析：

一. 劳动合同约定与工作地点

1. 劳动合同内容：根据《劳动合同法》第十七条，劳动合同应当约定工作内容和工作地点。若劳动合同中未明确约定异地出差为工作职责的一部分，公司不能单方面强制要求员工异地出差。
2. 工作地点变更：如果公司需要变更员工的工作地点，根据《劳动合同法》第三十五条，应与员工协商一致，并采用书面形式变更劳动合同的相关内容。

二. 员工拒绝异地出差的合理性

1. 员工权利：员工有权基于个人原因（如家庭、健康等）拒绝异地出差，特别是当这种出差与劳动合同约定的工作地点不符时。
2. 公司处理：公司应尊重员工的选择，不能因员工拒绝异地出差而采取扣罚绩效等惩罚措施。如果公司认为员工拒绝出差影响了业务，应通过合理途径解决，如协商、调岗或提供其他激励措施。

三. 扣罚绩效的合法性

1. 绩效考核制度：根据《劳动合同法》第四条，用人单位应当依法建立和完善劳动规章制度，保障劳动者享有劳动权利、履行劳动义务。如果公司的绩效考核制度中未明确规定拒绝异地出差可以扣罚绩效，那么公司的扣罚行为就是违法的。
2. 扣罚依据：公司扣罚员工绩效必须有明确的依据，且该依据必须合法、合理。如果公司仅凭员工拒绝异地出差就扣罚绩效，缺乏合法性和合理性。

综上所述，公司无权因员工拒绝异地出差而直接扣罚绩效。如果公司坚持扣罚，员工可以与公司进行沟通协商，要求公司说明扣罚的合理性和法律依据。如果沟通无果，员工可以向劳动监察部门投诉或申请劳动仲裁来维护自己的合法权益。如有进一步需要，您可以继续咨询我。