结论：派遣工被退回后又到原单位工作，若遭遇不合理调岗，您有权拒绝并可以通过协商、投诉或法律途径来维护自己的合法权益。以下是对此问题的详细分析：
一、不合理调岗的认定
不合理调岗通常指的是用人单位未经与劳动者协商一致，单方面改变劳动者的工作岗位，且该改变对劳动者的劳动条件、劳动报酬、职业发展等产生不利影响。在您的情况下，如果原单位在您被退回后，未经您同意就擅自将您调至一个与原岗位性质、工作内容、薪酬待遇等相差较大的岗位，且没有合理的理由，那么这种调岗很可能被视为不合理调岗。
二、应对不合理调岗的策略
与用人单位协商：
- 首先，您可以尝试与原单位的人力资源部门或直接上级进行沟通，表达您对调岗的不满和担忧，并询问调岗的具体原因和依据。
- 在协商过程中，您可以提出自己的合理诉求，如要求保持原岗位、要求调岗后薪酬待遇不变等，并尝试与用人单位达成一致。
向劳动监察部门投诉：
- 如果协商无果，您可以向当地的劳动监察部门投诉，反映用人单位的不合理调岗行为。
- 劳动监察部门有权对用人单位的违法行为进行调查和处理，并可以要求用人单位纠正违法行为，保障劳动者的合法权益。
申请劳动仲裁或提起诉讼：
- 如果投诉后问题仍未得到解决，您可以向劳动争议仲裁委员会申请劳动仲裁，要求裁决用人单位撤销不合理调岗决定，恢复原岗位或给予相应的经济补偿。
- 如果对劳动仲裁结果不满，您还可以向人民法院提起诉讼，通过法律途径来维护自己的合法权益。
三、法律依据
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。如果用人单位未经与劳动者协商一致就单方面改变劳动者的工作岗位，且该改变对劳动者产生不利影响，那么这种行为很可能构成违法行为。
- 同时，根据《劳动保障监察条例》的相关规定，劳动保障行政部门有权对用人单位遵守劳动保障法律、法规和规章的情况进行监督检查，并对违法行为进行处罚。
四、建议与提醒
- 在应对不合理调岗时，建议您保留好相关证据，如调岗通知、工资单、工作记录等，以便在需要时证明自己的权益受到侵害。
- 同时，也建议您在采取任何行动前咨询专业律师的意见，以确保自己的行动合法有效。
如果您在应对不合理调岗过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，为您提供专业的法律建议和帮助。