结论：逾期多年未归，解除聘用关系能否从离岗之日起计算，需根据具体情况判断，若用人单位已依法履行通知义务且劳动者无正当理由长期离岗，解除聘用关系的时间点可能被认定为离岗之日后的合理期限届满时；若用人单位未履行通知义务或劳动者离岗有合理事由，则解除时间点可能需从实际解除通知送达或合理事由消除后计算。以下从不同角度详细分析：
一、用人单位已依法履行通知义务，且劳动者无正当理由长期离岗
法律背景：
- 根据《中华人民共和国劳动合同法》及相关规定，劳动者无正当理由长期离岗，用人单位有权解除劳动合同，但需提前通知劳动者或支付相应经济补偿。
- 若用人单位已通过书面形式通知劳动者返岗，并明确告知逾期未归将解除劳动合同，且劳动者在合理期限内仍未返岗，用人单位可依法解除劳动合同。
解除时间点：
- 在此情况下，解除聘用关系的时间点可能被认定为离岗之日后的合理期限届满时。合理期限的具体长度可能因用人单位规章制度、劳动合同约定或地方性法规而有所不同，但通常应给予劳动者足够的返岗时间。
法律后果：
- 用人单位解除劳动合同后，无需支付劳动者离岗期间的工资，但可能需支付经济补偿（如劳动者在用人单位工作年限较长且符合支付条件）。
- 若用人单位未提前通知或未支付经济补偿，可能面临劳动仲裁或诉讼风险。
二、用人单位未履行通知义务，或劳动者离岗有合理事由
法律背景：
- 若用人单位未依法履行通知义务，即未书面通知劳动者返岗或解除劳动合同，则解除行为可能被认定为违法。
- 若劳动者离岗有合理事由（如患病、家庭变故等），且已向用人单位说明情况，用人单位应给予理解和支持，不得随意解除劳动合同。
解除时间点：
- 在此情况下，解除聘用关系的时间点可能需从实际解除通知送达劳动者之日或合理事由消除后计算。
- 若劳动者离岗期间用人单位未提出异议，且劳动者返岗后继续履行劳动合同，则解除行为可能被视为无效。
法律后果：
- 若用人单位违法解除劳动合同，劳动者有权要求继续履行劳动合同或支付赔偿金。
- 若劳动者离岗有合理事由且已说明情况，用人单位应恢复其工作岗位或支付相应工资待遇。
三、特殊情况下的处理
劳动者下落不明：
- 若劳动者下落不明，用人单位可通过公告等方式通知其返岗或解除劳动合同。公告期满后，若劳动者仍未出现，用人单位可依法解除劳动合同。
- 解除时间点可能被认定为公告期满之日或合理期限届满时。
用人单位规章制度或劳动合同约定：
- 若用人单位规章制度或劳动合同中明确规定了劳动者离岗的处理方式和解除时间点，且该规定不违反法律法规强制性规定，则应按照约定执行。
建议：
- 对于用人单位而言，在劳动者长期离岗时，应及时通过书面形式通知其返岗或解除劳动合同，并保留好相关证据（如通知邮件、短信、公告等）。
- 对于劳动者而言，若因特殊原因需离岗，应及时向用人单位说明情况并申请请假或休假。若用人单位违法解除劳动合同，可依法维护自身权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。