你有权基于劳动合同的约定以及个人实际情况，拒绝工厂不合理的岗位调动，并通过合法途径来维护自己的权益。以下是从不同角度为你提供的详细分析和建议：

一、检查劳动合同条款

1. 核心要点：首先，你需要仔细审查劳动合同中关于工作岗位、工作地点及薪资待遇的具体条款。
2. 详细分析：如果合同中有明确约定，那么工厂未经与你协商一致就擅自变更岗位或降低薪资，这属于违约行为。你有权依据合同条款拒绝调岗，并要求工厂继续履行原合同。

二、积极沟通协商

1. 核心要点：与工厂领导或人力资源部门进行坦诚沟通，表达你对调岗的顾虑和不愿接受的原因。
2. 详细分析：在沟通过程中，你可以提出合理的个人诉求，比如家庭责任、职业规划等，这些都是影响你决定的重要因素。同时，尝试寻求双方都能接受的解决方案，比如调整调岗时间、提供调岗补助等。

三、收集并保留证据

1. 核心要点：在沟通过程中，务必保留所有与调岗相关的书面和电子证据。
2. 详细分析：这些证据包括但不限于劳动合同、工资条、工作证、考勤记录以及沟通记录（邮件、短信、微信聊天记录、会议纪要等）。这些证据将在后续可能发生的法律程序中起到至关重要的作用，它们能够证明你的权益受到了侵害，以及你为此所做的努力。

四、向劳动监察部门投诉

1. 核心要点：如果工厂坚持不合理调岗，你可以向当地劳动监察部门提出投诉。
2. 详细分析：在投诉时，你需要提交详细的投诉材料和证据，说明工厂调岗的不合理性和对你的不利影响。劳动监察部门将对此进行调查，并根据调查结果依法处理。如果调查属实，劳动监察部门可能会责令工厂改正其违法行为，并可能对你进行一定的补偿。

五、申请劳动仲裁

1. 核心要点：若劳动监察部门的处理未能满足你的诉求，或者工厂拒绝改正其违法行为，你可以向劳动争议仲裁委员会申请仲裁。
2. 详细分析：在仲裁申请中，你需要明确提出你的诉求，比如恢复原岗位、补发工资等，并提供充分的证据支持。仲裁委员会将依据相关法律法规和双方提供的证据进行公正裁决。如果仲裁结果对你有利，工厂需要履行仲裁裁决，否则你可能需要进一步通过法律途径来维护自己的权益。

六、提起诉讼

1. 核心要点：如果你对劳动仲裁结果不满意，可以在规定的时间内向人民法院提起诉讼。
2. 详细分析：法院将对案件进行全面审理，并依据法律规定和事实情况作出最终判决。如果判决结果对你有利，工厂需要履行法院判决，否则你可能需要申请强制执行来维护自己的权益。

总结与建议：

在整个过程中，保持冷静和理性至关重要。你要坚信自己有权维护合法权益，同时也要遵循法律程序，以合法方式表达诉求。记住，保留证据是维权的关键，而积极沟通则是解决问题的第一步。如果你在处理此类问题时遇到任何困难或疑问，都可以直接向我咨询，我会为你提供专业的法律帮助。