结论：工厂搬迁不想给赔偿且拖着降低平均工资的行为是违法的，您有权通过法律途径维护自己的合法权益。以下是从不同角度对此问题的详细分析：
一、工厂搬迁与赔偿问题
工厂搬迁的法律性质：
- 工厂搬迁通常被视为劳动合同的重大变更，根据《劳动合同法》的相关规定，用人单位变更劳动合同内容（如工作地点）应当与劳动者协商一致，并采用书面形式。
赔偿问题：
- 如果工厂搬迁导致劳动合同无法继续履行，且双方无法就变更劳动合同内容达成协议，用人单位应当按照《劳动合同法》的规定向劳动者支付经济补偿。
- 经济补偿的计算标准通常根据劳动者在用人单位的工作年限和月工资来确定。
二、工厂降低平均工资的问题
降低工资的法律性质：
- 工厂未经劳动者同意擅自降低工资是违法的，这违反了《劳动合同法》中关于工资支付的规定。
- 工资是劳动合同的重要组成部分，用人单位不得单方面变更。
应对措施：
- 如果您发现工厂在搬迁过程中擅自降低了您的平均工资，您有权要求工厂恢复原工资水平，并补发差额。
- 如果工厂拒绝，您可以向当地劳动监察部门投诉，或者申请劳动仲裁来维护自己的权益。
三、法律建议与行动步骤
收集证据：
- 保留与工厂签订的劳动合同、工资单、搬迁通知等相关证据，以证明工厂的行为违法。
与工厂协商：
- 首先尝试与工厂进行协商，要求其按照法律规定支付经济补偿并恢复原工资水平。
申请劳动仲裁：
- 如果协商无果，您可以向当地劳动仲裁委员会申请劳动仲裁，提交相关证据和仲裁申请书。
- 劳动仲裁委员会将依法进行裁决，如果工厂不履行裁决，您还可以向法院申请强制执行。
寻求法律援助：
- 在整个过程中，如果您需要法律帮助或咨询，可以直接向我提问，我将根据您的具体情况提供专业的法律建议。
四、可能的法律后果
工厂的法律责任：
- 如果工厂被认定存在违法行为，可能需要支付经济补偿、补发工资差额，并可能面临劳动监察部门的处罚。
您的权益保障：
- 通过法律途径维护自己的权益，您有望获得应得的经济补偿和工资差额，确保自己的合法权益不受侵害。
总结：工厂搬迁不想给赔偿且拖着降低平均工资的行为是违法的，您有权通过收集证据、与工厂协商、申请劳动仲裁等法律途径来维护自己的合法权益。在整个过程中，如果您需要法律帮助或咨询，可以直接向我提问，我将竭诚为您提供专业的法律服务。