劳动者被公司安排到不适合自己的岗位，反映到劳动部门后，劳动部门本身并不直接有权要求公司将其调回原岗位，但劳动者有权依据法律规定要求返回原岗位。以下从不同角度进行分析：

一、法律规定角度

根据《劳动合同法》第三十五条：“用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。变更后的劳动合同文本由用人单位和劳动者各执一份。” 这表明，除非具有法律规定的情形，用人单位调整劳动者的工作岗位应当遵循协商一致的原则，而且应当采用书面形式变更劳动合同。口头变更劳动合同一般不发生变更合同的效力。

在本案中，若公司未与劳动者协商一致，且未采用书面形式变更劳动合同，劳动者有权要求返回原岗位。同时，依据《最高人民法院关于审理劳动争议案件适用法律问题的解释(一)》第四十三条，在双方协商一致、调岗合理合法的情况下，劳动者前往新岗位工作超过1个月期限，又以未采用书面形式为由主张劳动合同变更无效的，法院不予支持。但本案中，若劳动者到新岗位上班未超过1个月，且调岗并非协商一致或合理合法，劳动者则有权反悔，即要求回到原岗位工作。

二、调岗合理性角度

在司法实务中，企业调岗同时符合以下情形的，会被认定为合法合理，劳动者必须服从：

1. 确属企业的生产经营所必须，比如原岗位撤销等。
2. 调岗前后的工作岗位有一定的关联，即调岗前后的工作内容不存在较大差异，劳动者能够胜任调整的岗位。
3. 调岗后的岗位级别、工资薪酬与原岗位基本相当，工作强度也相当。
4. 调岗不会增大劳动者的劳动成本，或者因劳动成本增大而提供了必要协助或补偿措施，如调整出勤时间、提供交通工具或增加交通补贴。
5. 调岗目的合理，不具有歧视性、侮辱性和惩罚性。
6. 无其他违反法律法规的情形。

若公司的调岗不符合上述情形，劳动者则有理由要求返回原岗位工作。这同时意味着公司拒绝其返回原岗位的请求不具有合法性，劳动者若因此离职，公司应当依法支付经济补偿费用。

三、实际操作建议

1. 与用人单位协商：首先，劳动者可以尝试与用人单位进行协商，表达自己无法适应新岗位的意愿，并请求返回原岗位。
2. 向劳动部门投诉：若协商无果，劳动者可以向当地劳动部门投诉，劳动部门会介入调查，并根据调查结果给出相应的处理意见。但需要注意的是，劳动部门并不直接有权要求公司将其调回原岗位，而是会通过调解、仲裁等方式来维护劳动者的合法权益。
3. 申请劳动仲裁或提起诉讼：若投诉后问题仍未得到解决，劳动者可以申请劳动仲裁或提起诉讼，通过法律途径来维护自己的权益。

总结与建议：劳动者在面对公司不合理调岗时，应首先了解自己的法律权益，然后与用人单位进行协商。若协商无果，可以向劳动部门投诉或申请劳动仲裁、提起诉讼。在整个过程中，劳动者应保留好相关证据，如劳动合同、调岗通知、工作记录等，以便在需要时证明自己的权益。若您在此过程中遇到任何法律问题，可以直接向我咨询。