员工在一般情况下有权拒绝单位不合理的工作地址调整，但具体是否可以拒绝需根据实际情况判断。以下从不同角度为你详细分析：

劳动合同约定角度

1. 劳动合同有明确约定：如果劳动合同中明确约定了工作地点，且调整后的工作地址与原约定不符，那么单位单方面调整工作地址属于违约行为。员工有权拒绝调整，并可以依据《劳动合同法》的相关规定，要求单位继续履行原劳动合同，或者以单位未按照劳动合同约定提供劳动条件为由，解除劳动合同并主张经济补偿。例如，劳动合同中明确约定工作地点为郊区某具体地址，单位未经员工同意将其调整到市区，员工可以拒绝。
2. 劳动合同未明确约定或约定模糊：若劳动合同中对工作地点没有明确约定，或者约定较为模糊（如仅约定为“本市”），此时单位调整工作地址的合理性就成为关键。如果调整后的工作地址仍然在合理范围内，且没有给员工造成实质性的不便或损失，员工可能难以拒绝调整。但如果调整后的工作地址距离员工居住地过远，导致员工上下班时间大幅增加、交通成本显著提高等，员工可以与单位协商，要求单位提供相应的补偿或调整工作安排。

调整合理性角度

1. 合理调整：单位因生产经营需要，如业务拓展、部门搬迁等，对员工工作地址进行合理调整，且调整后的工作地址对员工的工作和生活影响较小，同时单位能够提供必要的协助（如提供交通补贴、调整工作时间等），这种情况下员工可能难以拒绝调整。例如，单位因业务发展需要在市区设立新的办公地点，将部分员工从郊区调整到市区，且提供了交通补贴和灵活的工作时间安排，员工一般应接受调整。
2. 不合理调整：如果单位的调整行为明显不合理，如将员工从交通便利的郊区调整到交通拥堵、生活成本极高的市区，且没有提供任何补偿或协助措施，或者调整工作地址的目的是为了逼迫员工自行离职等，员工有权拒绝调整。在这种情况下，员工可以向劳动监察部门投诉，或者申请劳动仲裁，维护自己的合法权益。

法律后果角度

1. 员工拒绝调整的后果：如果员工拒绝单位合理的工作地址调整，单位可能会依据规章制度对员工进行处理，如警告、扣发工资等。但如果单位的调整行为本身不合理，员工拒绝调整是合法的，单位不能因此对员工进行处罚。
2. 单位违法调整的后果：如果单位未经员工同意，单方面不合理地调整工作地址，员工以此为由解除劳动合同的，单位应当向员工支付经济补偿。经济补偿的计算标准按照员工在单位工作的年限，每满一年支付一个月工资的标准向员工支付。六个月以上不满一年的，按一年计算；不满六个月的，向员工支付半个月工资的经济补偿。

建议：当遇到单位调整工作地址的情况时，员工应首先查看劳动合同中的相关约定，并与单位进行沟通协商，了解调整的原因和目的。如果认为调整不合理，可以要求单位提供相应的补偿或调整工作安排。如果协商无果，可以向劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。