结论：单位搬到外地，如果员工不去，单位是否需要赔偿，取决于多种因素，包括劳动合同的约定、搬迁的合理性以及员工是否因此遭受损失等。以下从不同角度进行分析：
一、劳动合同的约定
劳动合同中有明确约定：
- 如果劳动合同中明确约定了工作地点，并且单位搬迁导致工作地点发生重大变化，且该变化未得到员工的同意，那么单位可能构成违约。在此情况下，员工有权要求单位按照劳动合同的约定履行义务，或者要求单位支付相应的经济补偿。
- 经济补偿的计算通常依据员工在单位的工作年限和月工资水平，具体公式为：经济补偿金 = 工作年限 × 月工资。其中，月工资是指员工在劳动合同解除或者终止前十二个月的平均工资。
劳动合同中未明确约定：
- 如果劳动合同中未明确约定工作地点，或者约定的工作地点较为宽泛（如“某市范围内”），那么单位搬迁可能不构成违约。但即便如此，如果搬迁导致员工上下班距离显著增加，给员工生活带来不便，员工仍有权与单位协商解决方案。
二、搬迁的合理性
合理搬迁：
- 如果单位因生产经营需要而搬迁，且搬迁地点距离原工作地点不远，或者单位提供了必要的交通补贴、住宿安排等，以减轻员工因搬迁带来的不便，那么这种搬迁可能被视为合理。在此情况下，员工不去新地点工作可能不构成单位赔偿的理由。
不合理搬迁：
- 如果单位搬迁导致员工上下班距离显著增加，且单位未提供任何补偿或安排，给员工生活带来极大不便，甚至影响员工的正常生活和工作，那么这种搬迁可能被视为不合理。在此情况下，员工有权拒绝前往新地点工作，并要求单位支付相应的经济补偿。
三、员工是否因此遭受损失
员工遭受损失：
- 如果员工因单位搬迁而遭受了实际损失（如交通费用增加、住宿费用增加等），且这些损失是由于单位搬迁直接导致的，那么员工有权要求单位承担相应的赔偿责任。
员工未遭受损失：
- 如果员工因单位搬迁而未遭受任何实际损失，或者损失较小且可以自行承担，那么员工要求单位赔偿的理由可能不充分。
四、法律建议
与单位协商：
- 在面对单位搬迁的情况时，员工首先应与单位进行协商，了解搬迁的具体原因、新地点的具体情况以及单位是否愿意提供必要的补偿或安排。通过协商，双方可以达成一致意见，避免不必要的纠纷。
寻求法律援助：
- 如果协商无果，员工可以寻求法律援助或咨询专业律师，了解自己的权益和可能的法律途径。律师可以根据具体情况为员工提供法律建议，帮助员工维护自己的合法权益。
提起劳动仲裁或诉讼：
- 如果单位拒绝支付经济补偿或承担赔偿责任，员工可以向当地劳动仲裁机构提起劳动仲裁申请，或者向人民法院提起诉讼，要求单位承担相应的法律责任。
总结：单位搬到外地，如果员工不去，单位是否需要赔偿取决于劳动合同的约定、搬迁的合理性以及员工是否因此遭受损失等多种因素。在面对这种情况时，员工应首先与单位进行协商，了解具体情况并寻求解决方案。如果协商无果，员工可以寻求法律援助或咨询专业律师，以维护自己的合法权益。