当面临劳动法部门调动而你不愿意去的情况时，你确实有权基于劳动合同的约定以及个人实际情况来拒绝这一不合理的调动，并通过合法途径来维护自己的权益。以下是一个详细且有条理的处理流程：

一、审视劳动合同

首先，你需要仔细审查劳动合同中关于工作岗位、工作地点以及薪资待遇的具体条款。如果合同中有明确约定，而单位未经与你协商一致就擅自变更岗位或降低薪资，那么这明显构成了违约行为。

二、积极沟通协商

接下来，你应该与单位领导或人力资源部门进行坦诚的沟通。在沟通过程中，清晰地表达你对调岗的顾虑和不愿接受的原因，比如家庭责任、职业规划等。同时，也可以提出你合理的个人诉求，并尝试与单位寻求一个双方都能接受的解决方案。

三、收集并保留证据

在沟通过程中以及之后，务必保留所有与调岗相关的书面和电子证据。这包括但不限于劳动合同、工资条、工作证、考勤记录，以及与调岗相关的沟通记录（如邮件、短信、微信聊天记录、会议纪要等）。这些证据在后续可能发生的法律程序中将起到至关重要的作用。

四、向劳动监察部门投诉

如果单位坚持不合理调岗，并且拒绝与你进行进一步的协商，你可以向当地的劳动监察部门提出投诉。在投诉时，你需要提交详细的投诉材料和证据，说明单位调岗的不合理性以及这一调动对你造成的不利影响。劳动监察部门将会对此进行调查，并根据调查结果依法进行处理。

五、申请劳动仲裁

如果劳动监察部门的处理未能满足你的诉求，或者单位拒绝改正其违法行为，你可以向劳动争议仲裁委员会申请仲裁。在仲裁申请中，你需要明确提出你的诉求，比如要求恢复原岗位、补发工资等，并提供充分的证据来支持你的诉求。仲裁委员会将会依据相关法律法规和双方提供的证据进行公正裁决。

六、提起诉讼（如必要）

如果你对劳动仲裁的结果不满意，你可以在规定的时间内向人民法院提起诉讼。法院将会对案件进行全面审理，并依据法律规定和事实情况作出最终判决。

总结与建议：

在整个处理过程中，保持冷静和理性至关重要。你要坚信自己有权维护自己的合法权益，同时也要遵循法律程序，以合法方式表达自己的诉求。此外，我建议你咨询专业律师的意见，以确保你的权益得到充分保护。记住，保留证据是维权的关键，而积极沟通则是解决问题的第一步。希望这些建议能对你有所帮助。