针对您提出的“搬厂了我们不跟厂走，厂里不放怎么办”的问题，这实际上涉及到了劳动合同履行过程中因客观情况发生重大变化而导致的合同变更或解除问题。以下是我为您提供的详细解答：
首先，根据《劳动法》和《劳动合同法》的相关规定，当劳动合同订立时所依据的客观情况发生重大变化，且这种变化致使劳动合同无法履行时，用人单位与劳动者应协商变更劳动合同。若双方未能就变更劳动合同达成协议，用人单位可以提前30日以书面形式通知劳动者，或者额外支付劳动者一个月工资后，解除劳动合同。
在您所描述的情况中，单位决定将厂房搬往外地，这属于劳动合同订立时所依据的客观情况发生重大变化。如果您因个人原因不愿跟随公司到迁移目的地工作，那么这必然导致双方原先签订的劳动合同无法履行。
接下来，我们需要明确的是，虽然单位有权因客观情况发生重大变化而解除劳动合同，但这一行为必须遵循法定程序，并支付相应的经济补偿。具体来说：
协商变更：单位应首先与您协商，看是否能够就工作地点、工作内容等劳动合同条款进行变更，以适应新的客观情况。
解除合同与经济补偿：若协商无果，单位可以依据《劳动合同法》第四十条的规定解除劳动合同。但在此情况下，单位必须按照《劳动合同法》第四十六条和第四十七条的规定，向您支付经济补偿金。经济补偿金的标准通常与您的工作年限和月工资水平相关。
法律程序：单位在解除劳动合同时，必须确保程序合法，包括提前通知、支付经济补偿等。若单位未遵循法定程序，您有权通过法律途径维护自己的合法权益。
最后，我建议您在面对此类情况时，首先与单位进行友好协商，看是否能够达成双方都能接受的解决方案。若协商无果，您可以咨询专业律师或劳动仲裁机构，了解自己的法律权益和可能的维权途径。
总之，虽然单位因搬迁而解除劳动合同在法律上是有依据的，但这一行为必须遵循法定程序，并支付相应的经济补偿。您有权维护自己的合法权益，确保在劳动合同变更或解除过程中得到公正对待。