退休返聘人员劳务合同没到期，单位不能仅以调岗降薪为由随时辞退。以下从不同角度为你详细分析：

法律关系角度

退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系，因此不适用《劳动合同法》中关于劳动合同解除的相关规定。但这并不意味着用人单位可以随意辞退退休返聘人员。劳务关系的解除同样需要遵循一定的规则和程序，不能仅凭单位单方面的意愿随意进行。

合同约定角度

1. 合同有明确约定：如果劳务合同中明确约定了单位在何种情况下可以调岗降薪以及辞退员工，且这些约定不违反法律法规的强制性规定，那么单位在符合合同约定条件的情况下，可以按照合同约定辞退退休返聘人员。但单位需要提供充分的证据证明其调岗降薪以及辞退行为符合合同约定，否则可能构成违约。
2. 合同无明确约定：若劳务合同中没有对调岗降薪和辞退等事项作出明确约定，单位仅以调岗降薪为由辞退退休返聘人员，就缺乏合同依据。此时，退休返聘人员有权要求单位继续履行合同或者承担违约责任，如支付违约金、赔偿损失等。

合理性角度

即使单位认为有调岗降薪的必要，也需要考虑其合理性。如果调岗降薪缺乏合理的业务需求或正当理由，比如纯粹是为了降低用工成本而进行的恶意调岗降薪，那么这种行为可能被视为不合理的变更合同内容。在这种情况下，退休返聘人员有权拒绝调岗降薪，并要求单位按照原合同履行义务。如果单位因此辞退退休返聘人员，可能构成违法解除劳务合同，需要承担相应的法律责任。

法律建议

1. 与单位协商：如果遇到单位以调岗降薪为由辞退的情况，退休返聘人员可以先与单位进行协商，了解单位辞退的具体原因和依据，并尝试通过协商解决问题。
2. 收集证据：在协商过程中，退休返聘人员应注意收集相关证据，如劳务合同、工资单、调岗降薪通知等，以证明自己的权益受到侵害。
3. 寻求法律帮助：如果协商无果，退休返聘人员可以向当地劳动监察部门投诉或者向法院提起诉讼，要求单位承担相应的法律责任。

总之，退休返聘人员在面对单位以调岗降薪为由辞退的情况时，应了解自己的权益和法律途径，积极维护自己的合法权益。如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。