结论：派遣工被退回派遣单位后，又去原单位上班但遭到调岗且不适应，并不直接导致劳动合同的解除。是否可以解除劳动合同，需根据具体情况、劳动合同的约定以及相关法律法规来综合判断。
一、不能直接解除劳动合同的情况
非劳动者过错原因：
- 若派遣工被退回并非由于其个人过错，而是由于用工单位自身经营原因（如订单减少、业务调整等），且不属于《劳动合同法》第三十九条和第四十条第一项、第二项规定的情形，劳务派遣单位不能随意解除与派遣工的劳动合同。
- 在此情况下，劳务派遣单位需按照劳务派遣协议的约定，在无工作期间向劳动者按月支付不得低于所在地人民政府规定的最低工资标准的劳动报酬，并承担为派遣工重新派遣工作的义务。若派遣工被重新安排回原单位但调岗后不适应，劳务派遣单位应与用工单位协商，看是否能调整回原岗位或提供其他合适的岗位。
调岗不合理：
- 如果用工单位的调岗决定缺乏合理性，比如没有正当的业务理由、调岗后的工作内容与原岗位差异过大且未提供必要培训等，派遣工有权拒绝调岗。此时，劳务派遣单位不能仅因派遣工拒绝不合理调岗就解除劳动合同。
二、可以解除劳动合同的情况
劳动者存在过错：
- 根据《劳动合同法》第三十九条，若派遣工存在以下情形，劳务派遣单位可以解除劳动合同：
- 在试用期间被证明不符合录用条件的；
- 严重违反用人单位的规章制度的；
- 严重失职，营私舞弊，给用人单位造成重大损害的；
- 同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
- 因欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下订立或者变更劳动合同，致使劳动合同无效的；
- 被依法追究刑事责任的。
劳动者自身能力或客观情况变化：
- 根据《劳动合同法》第四十条，若派遣工存在以下情形，劳务派遣单位在提前三十日以书面形式通知劳动者本人或额外支付劳动者一个月工资后，可以解除劳动合同：
- 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
- 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。不过，在此情况下，若调岗是合理的且派遣工仍不能胜任，劳务派遣单位方可解除劳动合同。若调岗本身不合理，则不能以此为由解除劳动合同。
三、综合建议
与劳务派遣单位和用工单位沟通：
- 派遣工应首先与劳务派遣单位和用工单位进行沟通，明确调岗的原因和合理性，表达自己对调岗的不适应和担忧，并寻求解决方案。
审查劳动合同和规章制度：
- 派遣工应仔细审查自己的劳动合同和劳务派遣单位、用工单位的规章制度，了解自己的权益和义务，以及调岗和解除劳动合同的相关规定。
寻求法律援助：
- 若沟通无果，且派遣工认为自己的权益受到侵害，可以向我咨询，我会根据具体情况提供专业的法律意见和帮助，包括但不限于协商、调解、仲裁或诉讼等途径来维护自己的合法权益。
总之，派遣工在面对被退回派遣单位后又去原单位上班但遭到调岗且不适应的情况时，应保持冷静，了解自己的权益和义务，积极与劳务派遣单位和用工单位沟通，并在必要时寻求法律援助。