退休返聘人员是否需要服从调离岗位的安排，这主要取决于返聘协议中的具体约定以及相关法律法规的规定。以下是从不同角度对此问题的详细分析：
返聘协议约定：
- 退休返聘人员与用人单位之间通常签订的是返聘协议，而非劳动合同。这份协议是双方权利和义务的基础，其中应明确约定工作内容、工作地点、岗位调整等条款。
- 如果返聘协议中明确规定了用人单位有权根据工作需要调整退休返聘人员的工作岗位，且这种调整是合理的、非歧视性的，那么退休返聘人员通常需要服从这种安排。
- 反之，如果返聘协议中没有相关约定，或者约定了用人单位不得随意调整岗位，那么用人单位单方面调离岗位可能构成违约，退休返聘人员有权拒绝。
法律法规规定：
- 退休返聘人员与用人单位之间的关系，在法律上通常不被视为劳动关系，而是劳务关系。因此，劳动法律法规中关于岗位调整、劳动合同变更等规定，可能并不直接适用于退休返聘人员。
- 但是，如果返聘协议中的条款违反了法律法规的强制性规定（如侵犯退休返聘人员的合法权益），那么这些条款可能是无效的。在这种情况下，退休返聘人员可以依据法律法规来维护自己的权益。
合理性原则：
- 即使返聘协议中约定了用人单位有权调整岗位，这种调整也应当是合理的。合理性通常包括调整的必要性、目的的正当性、对退休返聘人员的影响程度等因素。
- 如果用人单位的调整岗位行为明显不合理，如出于恶意、歧视性目的，或者对退休返聘人员造成了过大的不利影响，那么退休返聘人员有权拒绝这种调整，并可以寻求法律救济。
建议：
- 对于退休返聘人员来说，在签订返聘协议时，应仔细阅读协议条款，特别是关于岗位调整、工作内容变更等部分，确保自己的权益得到充分保障。
- 如果用人单位提出调离岗位的要求，退休返聘人员应首先查看返聘协议中的相关约定，并评估这种调整的合理性。如果认为调整不合理或违反了协议约定，可以与用人单位进行协商，或者寻求法律帮助来维护自己的权益。
可能后果：
- 如果退休返聘人员拒绝服从合理的岗位调整安排，且返聘协议中有相关约定，用人单位可能会依据协议约定采取相应的措施，如解除返聘协议等。
- 如果用人单位的调整岗位行为违反了法律法规或返聘协议的约定，退休返聘人员有权要求用人单位承担相应的法律责任，如赔偿损失等。
总之，退休返聘人员是否需要服从调离岗位的安排，应根据返聘协议的具体约定以及相关法律法规的规定来判断。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。