结论：安排出差员工不去，一般情况下公司不能因此直接降工资，但具体还需根据劳动合同、公司规章制度以及实际情况来判断。
分析说明：
劳动合同与规章制度：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。劳动合同一旦签订，双方均应严格履行。
- 如果劳动合同中明确规定了出差是员工的工作职责之一，且未提及不出差可以降工资的条款，那么公司不能仅因员工拒绝出差就降低其工资。
- 同时，公司的规章制度也应当合法、合理，且经过民主程序制定并公示。如果规章制度中规定了不出差可以降工资，但这一规定本身违反了法律法规或劳动合同的约定，那么该规定也是无效的。
实际情况与合理性：
- 即使劳动合同或规章制度中没有明确规定，公司也不能随意降工资。公司需要证明员工拒绝出差的行为给公司造成了实际损失，且这种损失与降工资之间存在直接的因果关系。
- 在实际操作中，公司通常会考虑员工拒绝出差的原因、公司的实际需求以及员工的整体表现等因素来决定是否采取降工资等措施。如果员工有合理的理由拒绝出差（如健康原因、家庭原因等），且公司无法证明其拒绝出差给公司造成了实际损失，那么公司降工资的行为可能缺乏合理性。
可能的法律后果：
- 如果公司未经员工同意擅自降工资，员工有权向劳动监察部门投诉或提起劳动仲裁，要求公司补发工资并可能获得相应的赔偿。
- 在劳动仲裁或诉讼过程中，公司需要承担举证责任，证明其降工资的行为是合法、合理的。如果公司无法提供充分的证据支持其主张，那么其降工资的行为可能被认定为违法。
建议：
- 对于员工而言，如果公司安排出差而自己无法前往，建议及时与公司沟通并说明原因，尽量寻求双方都能接受的解决方案。如果公司因此提出降工资等不合理要求，员工可以拒绝并寻求法律援助。
- 对于公司而言，在安排员工出差时应当充分考虑员工的实际情况和合理需求，避免强制要求员工出差或因此采取不合理的措施（如降工资）。如果确实需要员工出差且员工拒绝，公司可以与员工协商解决或根据公司规章制度和劳动合同的约定采取相应的措施。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。