当公司安排出差而劳动者希望拒绝时，应当注意以下几个关键事项，以确保自身权益不受损害，并合理表达个人意愿：
一、明确劳动合同内容
- 查阅劳动合同：首先，仔细查阅与公司签订的劳动合同，特别是关于工作地点、岗位职责及出差条款的约定。
- 了解工作地点：如果劳动合同中工作地点约定不明确或过于宽泛，应与公司确认实际工作地点，以避免后续争议。
二、合理表达拒绝意愿
- 正式沟通：与公司的人力资源部门或直接上级进行正式沟通，明确表达自己对出差安排的顾虑和拒绝意愿。
- 说明理由：提供合理的拒绝理由，如家庭原因、健康状况、工作负荷等，以便公司理解并考虑其他安排。
三、遵守公司规章制度
- 了解规章制度：熟悉公司的规章制度，特别是关于出差、考勤及离职的相关规定。
- 避免旷工：即使拒绝出差，也应继续按时到岗工作，避免公司以旷工为由解除劳动合同。
四、保留证据，维护权益
- 书面记录：与公司沟通时，尽量通过邮件、短信等书面形式记录沟通过程，以便后续作为证据使用。
- 法律咨询：如果公司因拒绝出差而采取不当措施，如警告、解雇等，应及时咨询专业律师，了解自己的法律权益并采取相应措施。
五、注意离职流程（如适用）
- 提前通知：如果因拒绝出差而决定离职，应提前三十天通知公司，并遵循公司的离职流程。
- 办理退工手续：确保公司办理完退工手续，以便后续转移档案、社会保险等。
六、案例参考
参考相关案例，如彭某拒绝多次出差被辞退但法院判定无效的案例，可以了解到法院在审理此类案件时会综合考虑劳动合同、工作地点、公司规章制度及劳动者权益等多方面因素。因此，劳动者在拒绝出差时，应确保自己的行为符合劳动合同及法律法规的规定，并合理维护自身权益。
综上所述，当公司安排出差而劳动者希望拒绝时，应明确劳动合同内容、合理表达拒绝意愿、遵守公司规章制度、保留证据以维护权益，并注意离职流程（如适用）。通过这些措施，劳动者可以在保护自身权益的同时，与公司保持良好的沟通关系。