结论：签了工厂搬迁意向书后能否不去，需分情况讨论，主要取决于意向书的法律性质、具体条款内容以及是否已形成具有法律约束力的合同关系。以下从不同角度展开分析：

1. 意向书的法律性质：预约合同还是磋商文件？

• 若意向书具备预约合同性质（如明确约定未来签订正式搬迁协议的义务、违约责任等），则具有法律约束力。此时拒绝搬迁可能构成违约，需承担意向书中约定的责任（如赔偿损失、支付违约金等）。
• 若意向书仅为磋商性文件（如仅表达搬迁意愿，未约定具体权利义务），则通常不具有强制执行力。此时员工有权拒绝搬迁，且无需承担法律责任。

关键点：需审查意向书条款，若出现“双方同意签订正式合同”“违约责任”等表述，更可能被认定为预约合同。

2. 意向书与劳动合同的关系：搬迁是否属于“客观情况重大变化”？

• 根据《劳动合同法》第40条，若工厂搬迁导致劳动合同无法履行（如跨市搬迁、通勤成本剧增），且用人单位未与员工协商一致，员工可要求解除合同并主张经济补偿金（N倍工资）。
• 但若意向书已明确约定搬迁条款（如员工同意搬迁至新地址），则可能被视为双方对劳动合同内容的变更达成一致，员工拒绝搬迁可能被认定为违约。

关键点：需结合搬迁距离、通勤时间、是否提供交通补贴等因素，判断是否构成“客观情况重大变化”。

3. 员工拒绝搬迁的合法性：是否享有单方解除权？

• 若搬迁未影响劳动合同履行（如同城搬迁、通勤时间合理），员工拒绝搬迁可能被认定为旷工，用人单位有权依据规章制度解除合同且无需支付补偿。
• 若搬迁严重影响生活（如跨省搬迁、家庭困难），员工可依据《劳动合同法》第38条，以“未按照劳动合同约定提供劳动条件”为由解除合同，并主张经济补偿金。

关键点：需保留证据证明搬迁对个人生活的实质影响（如通勤记录、家庭情况说明等）。

4. 实务建议：如何降低风险？

• 对员工：
  1. 审查意向书条款，明确其法律性质及违约后果；
  2. 评估搬迁对个人生活的实际影响，保留相关证据；
  3. 若拒绝搬迁，建议通过书面形式向用人单位说明理由，避免被认定为旷工。
• 对用人单位：
  1. 在意向书中明确搬迁条款及违约责任，避免条款模糊；
  2. 与员工充分协商，提供交通补贴、住房支持等补偿方案；
  3. 若员工拒绝搬迁，需依据规章制度处理，避免违法解除。

总结：能否拒绝搬迁需结合意向书性质、搬迁影响及劳动合同履行情况综合判断。建议根据具体条款和实际情况，选择协商、解除合同或主张违约责任等路径。如有疑问，可进一步提供意向书内容及搬迁细节，我会为您详细分析。