核心结论：针对因单位原因导致公职人员待业下岗二十余年，中途要求返岗但单位不认可的情况，需结合法律程序、证据收集及政策依据综合维权，具体可从以下角度处理：

1. 核查历史政策与单位责任

• 政策依据：需核查下岗时的政策文件（如90年代国企改革期间的“下岗分流”政策），确认单位是否依法履行程序。若单位未按规定支付补偿金、未办理社保接续或存在违规操作，可能构成违法解除劳动关系。
• 单位责任：若下岗系单位单方决定且未通过合法程序（如协商一致、经济补偿等），单位可能需承担继续履行合同或赔偿的责任。

2. 固定关键证据

• 劳动关系证明：收集劳动合同、工资单、工作证、下岗通知等材料，证明存在劳动关系及下岗事实。
• 返岗沟通记录：保留向单位提出返岗要求的书面材料（如邮件、信函）、录音或证人证言，证明已主动主张权利。
• 单位拒绝证据：若单位明确拒绝返岗，需留存书面回复或录音证据。

3. 法律程序维权路径

• 劳动仲裁：向当地劳动争议仲裁委员会申请仲裁，主张单位违法解除劳动关系，要求恢复劳动关系或支付赔偿金（按工作年限计算，每满一年支付一个月工资）。
• 行政投诉：若单位为事业单位或公务员系统，可向主管部门或人社局投诉，要求协调返岗或解决历史遗留问题。
• 诉讼途径：对仲裁结果不服的，可向法院提起民事诉讼；若涉及行政不作为，可提起行政诉讼。

4. 特殊情形处理

• 时效问题：劳动争议仲裁时效为1年，但若下岗后持续主张权利（如每年要求返岗），可主张时效中断。需结合具体行为证明未放弃权利。
• 政策性下岗差异：若下岗系政策性安排（如政府主导的减员增效），需区分单位自主行为与政策执行，政策性下岗可能不构成违法解除，但单位仍需履行补偿义务。

5. 协商与调解优先

• 内部协商：通过工会或上级主管部门与单位协商，争取返岗或经济补偿。
• 第三方调解：申请人社局或劳动争议调解中心介入，促成和解。

行动建议：

1. 立即整理所有证据材料，包括历史文件和近期沟通记录；
   
2. 委托律师分析下岗性质（违法解除/政策性下岗）及维权策略；
   
3. 优先通过劳动仲裁或行政投诉解决，若无效再启动诉讼程序。
   

风险提示：若下岗时间过长且单位已注销或改制，可能面临主体资格问题，需进一步核查单位现状。如有具体材料或细节，可直接向我提供以便进一步分析。