关于您提出的“调岗从门店调往到工厂可以不去嘛”这个问题，这确实是一个涉及职场权益和劳动法规的重要议题。以下是我为您提供的详细解答：
首先，我们需要明确的是，调岗是否合法以及您是否有权拒绝，这主要取决于几个关键因素：
劳动合同中的约定：
- 您需要回顾一下与用人单位签订的劳动合同中，是否有关于调岗的具体条款。如果合同中明确规定了用人单位在特定情况下有权调整您的工作岗位，并且这种调整是合理的，那么您可能需要遵守合同约定。
调岗的合法性和合理性：
- 即使合同中没有明确规定，用人单位的调岗行为也必须合法且合理。合法性主要指的是调岗是否违反了相关法律法规，如劳动法、劳动合同法等。合理性则涉及到调岗是否基于生产经营的需要，是否对您的劳动条件、劳动报酬等产生了不利影响，以及是否考虑了您的个人情况和意愿。
您的个人意愿和实际情况：
- 如果您因为身体原因、家庭原因或其他特殊情况确实无法适应新的工作岗位，您有权向用人单位说明情况，并尝试协商解决。在协商过程中，您可以提出自己的合理诉求，如希望留在原岗位、调整到其他更适合的岗位等。
接下来，我们根据不同情况来分析您是否可以不去工厂：
如果调岗不合法或不合理：
- 您有权拒绝调岗，并继续在原岗位工作。在这种情况下，用人单位不能将您的行为视为旷工或采取其他不利措施。
如果调岗合法且合理，但您有特殊情况：
- 您应该尽快与用人单位沟通，说明自己的特殊情况，并尝试协商解决。如果用人单位能够理解并同意您的诉求，那么问题可能得到妥善解决。
如果调岗合法且合理，且您没有特殊情况：
- 从法律角度来看，您可能需要遵守用人单位的调岗决定。然而，这并不意味着您没有其他选择。您可以考虑与用人单位进一步沟通，表达自己的想法和感受，看是否能够找到双方都能接受的解决方案。如果沟通无果，您也可以考虑咨询劳动法律专业人士或寻求劳动仲裁机构的帮助。
最后，我想强调的是，无论您做出什么决定，都应该保持冷静和理性，避免因为情绪激动而做出冲动的行为。同时，您也应该了解自己的权益和义务，以便在必要时能够维护自己的合法权益。希望这些解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。