结论：单位是否可以将你从办公室调回车间，取决于劳动合同的具体约定、调岗的合理性以及是否遵循了法定程序。以下从不同角度进行分析：

1. 劳动合同的约定：

   • 关键点：劳动合同是双方权利义务的基础，其中关于工作岗位的约定具有法律效力。
   • 分析：如果劳动合同中明确约定了你的工作岗位为车间，但实际工作中你一直在办公室工作，这可能构成对劳动合同的变更。然而，这种变更若未经双方书面确认，可能不影响原合同中关于工作岗位的约定。若单位现在要求你调回车间，且这一要求与劳动合同中的原始约定相符，那么单位在法律上是有权这样做的。但若劳动合同中明确约定了你的工作岗位为办公室，或未明确约定但实际履行中已形成稳定的工作岗位（办公室），则单位不能单方面要求你调回车间。

2. 调岗的合理性：

   • 关键点：即使劳动合同中有关于工作岗位的约定，单位在调岗时也需考虑调岗的合理性。
   • 分析：调岗的合理性包括但不限于考虑员工的专业技能、工作经验、身体状况以及调岗后对员工生活的影响等。如果单位无法证明调岗的合理性，或者调岗明显对员工不利（如降低薪资、增加工作强度等），则员工有权拒绝调岗。在你的情况下，如果办公室工作与车间工作在性质、技能要求等方面存在显著差异，且调岗可能对你的工作和生活产生不利影响，那么你可以对调岗提出异议。

3. 法定程序：

   • 关键点：单位在调岗时还需遵循法定程序，如与员工协商、提前通知等。
   • 分析：根据《劳动合同法》的相关规定，单位在变更劳动合同（包括工作岗位）时，应与员工协商一致，并采用书面形式。如果单位未经协商或未提前通知就单方面要求你调岗，这可能构成违法调岗。在这种情况下，你有权拒绝调岗，并可以向劳动监察部门投诉或申请劳动仲裁。

建议：

• 首先，仔细审查你的劳动合同，了解其中关于工作岗位的约定。
• 其次，与单位进行沟通，了解调岗的具体原因和依据，以及调岗后可能对你的工作和生活产生的影响。
• 如果认为调岗不合理或违法，可以向单位提出书面异议，并保留好相关证据（如劳动合同、调岗通知、沟通记录等）。
• 如果单位坚持调岗且你无法接受，可以考虑向劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

可能后果：

• 如果单位调岗合法且合理，你拒绝调岗可能构成违约，单位有权依据劳动合同或相关法律规定对你进行处理（如解除劳动合同、要求赔偿损失等）。
• 如果单位调岗违法或不合理，你拒绝调岗是合法的，单位无权因此对你进行不利处理。若单位因此解除劳动合同或采取其他不利措施，你可以依法维权。