工厂搬迁不给书面通知也不协商，劳动者有权采取以下措施来维护自身权益：

1. 要求工厂提供书面通知并协商：

   • 根据《劳动合同法》的相关规定，工厂搬迁属于劳动合同内容的重大变更，应当与劳动者协商一致，并采用书面形式变更劳动合同。因此，劳动者有权要求工厂提供书面通知，明确搬迁的具体时间、地点、补偿方案等关键信息，并就变更劳动合同进行协商。

2. 若工厂拒绝协商或未达成一致，劳动者可拒绝搬迁并主张权益：

   • 如果工厂拒绝提供书面通知或拒绝与劳动者协商，或者双方未能就变更劳动合同达成一致，劳动者有权拒绝搬迁至新地点工作。在此情况下，工厂若单方面解除劳动合同，可能构成违法解除，劳动者有权要求工厂支付经济补偿金或赔偿金。
   • 经济补偿金的标准通常按照劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。若工厂违法解除劳动合同，赔偿金则为经济补偿金的两倍。

3. 劳动者可向劳动监察部门投诉或申请劳动仲裁：

   • 如果工厂存在违法行为，如未提供书面通知、拒绝协商、违法解除劳动合同等，劳动者可以向当地劳动监察部门投诉，要求劳动监察部门对工厂的违法行为进行查处。
   • 同时，劳动者也可以向劳动争议仲裁委员会申请劳动仲裁，通过法律途径维护自身权益。在申请劳动仲裁时，劳动者需要提供相关证据，如劳动合同、工资单、工厂搬迁的通知（如有）、与工厂协商的记录等，以证明自己的主张。

4. 关于搬迁补偿的协商与主张：

   • 在协商过程中，劳动者可以就搬迁补偿方案与工厂进行谈判。补偿方案可能包括但不限于交通补贴、住宿补贴、搬迁奖金等。劳动者应根据自身实际情况和工厂的搬迁情况，合理主张自己的权益。
   • 如果双方无法就补偿方案达成一致，劳动者可以在劳动仲裁或诉讼过程中，根据相关法律法规和实际情况，要求工厂给予合理的补偿。

行动建议：

• 劳动者应保留好与工厂沟通的所有记录，包括书面通知（如有）、电子邮件、短信、微信聊天记录等，作为后续维权的证据。
• 在与工厂协商或申请劳动仲裁前，劳动者可以咨询专业律师，了解自己的权益和维权途径，以便更好地维护自身利益。

法律后果提示：

• 如果劳动者未经协商擅自拒绝搬迁且无正当理由，工厂可能依据规章制度对劳动者进行处罚，甚至解除劳动合同。因此，劳动者在采取行动前应确保自己的行为有法律依据和合理理由。
• 工厂若违法解除劳动合同或未支付经济补偿金/赔偿金，将面临劳动监察部门的处罚和劳动者的法律诉讼，可能承担更大的法律责任和经济损失。