结论：工厂搬迁但只留一个部门且不愿意赔偿时，员工有权通过法律途径维护自身权益，确保获得应有的经济补偿。具体可从以下角度分析和处理：

一、明确赔偿情形与法律依据

首先，员工需要明确，并非所有工厂搬迁都需要支付赔偿，关键在于搬迁是否导致劳动合同订立时的客观情况发生重大变化，致使合同无法履行，并且双方未能就变更合同内容达成协议。根据《中华人民共和国劳动合同法》的相关规定，如果工厂搬迁导致劳动合同无法继续履行，且用人单位以此为由与劳动者解除劳动合同，或者虽未解除劳动合同但搬迁对员工造成了实质性的不利影响（如通勤时间大幅增加、生活成本显著提高等），且双方未能就变更劳动合同内容达成一致，那么工厂应当向劳动者支付经济补偿。

二、与公司协商

1. 收集证据：在协商前，员工应准备好能证明劳动关系、工资水平、工作年限等的证据，如劳动合同、工资条、考勤记录等。这些证据在后续的维权过程中将起到关键作用。
2. 友好沟通：以平和的态度与公司人力资源部门或管理层沟通，说明搬迁带来的实际困难，如通勤时间增加、生活成本提高等，并依据法律法规提出合理的赔偿要求。建议以书面形式（如邮件）表达诉求，便于留存证据。同时，保留好聊天记录、邮件等沟通凭证。

三、寻求劳动行政部门帮助

若协商无果，员工可以向当地劳动行政部门投诉。

1. 准备材料：携带身份证明、劳动合同、能证明搬迁影响及协商情况的相关证据。
2. 投诉流程：前往劳动监察大队或通过线上投诉渠道进行投诉。劳动行政部门将调查并责令公司限期改正，逾期不支付经济补偿的，可加付赔偿金。

四、申请劳动仲裁

若劳动行政部门的处理未能解决问题，员工可向劳动争议仲裁委员会申请仲裁。

1. 申请时效：注意劳动争议申请仲裁的时效期间为一年，自知道或应当知道权利被侵害之日起计算。
2. 提交材料：包括仲裁申请书、身份证明、公司工商登记信息、证据材料等。证据材料应包含能证明劳动关系、工资水平、工作年限以及搬迁对员工造成实质性不利影响的证据。
3. 仲裁审理：仲裁委员会受理后将安排开庭审理，员工需充分阐述观点并提供证据。如对仲裁结果不服，可在收到裁决书后十五日内向人民法院提起诉讼。

五、提起诉讼

若仲裁结果仍不能令员工满意，可向有管辖权的人民法院提起诉讼。

1. 准备诉讼材料：起诉状、仲裁裁决书、相关证据等。
2. 诉讼程序：人民法院受理案件后将按照法定程序进行审理，员工需积极配合并遵守诉讼程序。在诉讼过程中，员工应继续提供证据支持自己的主张，并积极参与庭审活动。

六、特殊情况处理

如果工厂虽然搬迁但只留一个部门，且该部门的工作内容、工作地点等并未发生实质性变化，对员工的工作和生活未造成实质性不利影响，那么工厂可能无需支付经济补偿。然而，如果工厂以搬迁为由单方面变更劳动合同内容（如降低工资、调整工作岗位等），且未与员工协商一致，那么员工有权拒绝并要求工厂按照原劳动合同履行义务。若工厂坚持变更且未提供合理补偿，员工可依据上述流程维权。

总结与建议：面对工厂搬迁只留一个部门且不愿意赔偿的情况，员工应首先明确赔偿情形与法律依据，尝试与公司协商。协商无果时，可依次向劳动行政部门投诉、申请劳动仲裁，并最终通过司法途径维护自身权益。在整个维权过程中，员工应始终保留好与公司沟通的记录、劳动合同、工资单等相关证据。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。