结论：针对您提出的“续签三年合同只做了一年，工厂搬走后面两年是否赔钱”的问题，这主要取决于工厂搬迁是否构成违约，以及您与工厂签订的劳动合同中的相关条款。以下是从不同角度的详细分析：

一、工厂搬迁是否构成违约

1. 若工厂搬迁属于合同约定的变更情形：

   • 如果您与工厂签订的劳动合同中明确约定了工作地点，并且约定了工厂在特定情况下可以变更工作地点（如因生产经营需要等），且工厂的搬迁符合这些约定条件，那么工厂的搬迁可能不构成违约。在此情况下，您可能无法直接要求工厂赔偿剩余两年的工资或违约金。

2. 若工厂搬迁不属于合同约定的变更情形：

   • 如果劳动合同中没有约定工厂可以变更工作地点，或者工厂的搬迁不符合合同约定的变更条件，那么工厂的搬迁可能构成违约。根据《劳动合同法》的相关规定，用人单位违反劳动合同约定，变更劳动合同内容，给劳动者造成损害的，应当承担赔偿责任。

二、赔偿的具体情况

1. 若工厂构成违约：

   • 赔偿范围：根据《劳动合同法》的规定，工厂可能需要赔偿您因搬迁而遭受的损失，包括但不限于因搬迁产生的交通费用、住宿费用、以及因无法继续履行合同而可能遭受的工资损失等。但具体赔偿范围需根据实际情况和合同约定来确定。
   • 赔偿方式：赔偿方式可能包括一次性支付赔偿金、继续履行合同（如果可能且您同意）或提供其他形式的补偿等。

2. 若工厂不构成违约：

   • 在这种情况下，您可能无法直接要求工厂赔偿剩余两年的工资或违约金。但您可以与工厂协商，看是否能够达成其他形式的补偿协议，如提供搬迁补助、调整工作岗位等。

三、实际操作建议

1. 查看劳动合同：

   • 首先，您需要仔细查看与工厂签订的劳动合同，了解其中关于工作地点、合同变更、违约责任等条款的约定。

2. 与工厂协商：

   • 在了解合同条款后，您可以与工厂进行协商，表达您的诉求和关切。通过协商，您可能能够达成一个双方都能接受的解决方案。

3. 寻求法律援助：

   • 如果协商无果，您可以考虑寻求法律援助或咨询专业律师（当然，这里您可以直接向我咨询，我专注于经济纠纷、合同纠纷领域）。律师可以根据您的具体情况和合同条款，为您提供更具体的法律建议和帮助。

示例说明：假设您与工厂签订的劳动合同中明确约定了工作地点为某市某区，且未约定工厂可以变更工作地点。现在工厂因生产经营需要搬迁至另一城市，且未与您协商一致。在此情况下，工厂的搬迁可能构成违约，您有权要求工厂赔偿因搬迁而遭受的损失。具体赔偿金额和方式需根据实际情况和合同约定来确定，并可能涉及法律程序。

最后提醒：每个案件的具体情况都有所不同，因此上述分析仅供参考。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供更详细的法律建议和帮助。