核心结论：您在单位工作20多年后，在不知情的情况下被改为劳务派遣3年，这种情况可能涉及用人单位违反《劳动合同法》及相关规定，您有权通过法律途径维护自身权益。以下从不同角度为您详细分析：

1. 关于劳务派遣的合法性审查

根据《劳动合同法》第67条，用人单位不得设立劳务派遣单位向本单位或者所属单位派遣劳动者（即“逆向派遣”）。若您原为单位正式员工，单位未经您同意擅自将劳动关系转为劳务派遣，且派遣单位与实际用工单位存在关联关系（如母子公司、同一控制人等），则可能构成违法。
建议：收集证据证明原劳动关系（如工资发放记录、社保缴纳记录、工作证等）及劳务派遣的变更过程（如新合同、派遣协议等），向劳动监察部门投诉或申请劳动仲裁，主张恢复原劳动关系或要求赔偿。

2. 关于“不知情”的效力问题

若您在签署劳务派遣合同时未被明确告知合同性质、权利义务变化，或存在欺诈、胁迫等情形，根据《民法典》第148-151条，您可主张合同无效或可撤销。
关键点：需证明单位未履行告知义务（如未提供合同文本、未解释派遣含义等）。若合同已签署，可尝试通过录音、聊天记录等证据证明“不知情”状态。

3. 关于工作年限的连续计算

根据《劳动合同法实施条例》第10条及司法实践，若劳务派遣被认定为违法，工作年限应连续计算。您在单位工作20年的权益（如经济补偿金、年假、工龄工资等）不应因派遣形式变更而受影响。
示例：若单位后续解除劳动关系，经济补偿金应按20年工龄计算，而非仅计算派遣期间的3年。

4. 维权路径与证据收集

• 劳动仲裁：向单位所在地劳动仲裁委申请仲裁，主张确认派遣违法、恢复劳动关系或赔偿损失。
  
• 证据清单：
  
  • 证明原劳动关系的证据（劳动合同、工资条、社保记录等）；
    
  • 证明劳务派遣变更的证据（新合同、派遣协议、单位通知等）；
    
  • 证明“不知情”的证据（沟通记录、证人证言等）。
    
• 时效注意：劳动争议仲裁时效为1年，自您知道或应当知道权益受损之日起计算。

5. 特殊情形提示

若单位通过关联公司交替派遣（如每年更换一家派遣公司）规避责任，可能涉及“虚假派遣”。此时需进一步调查派遣单位与实际用工单位的关系，必要时可追加派遣单位为共同被申请人。

行动建议：

1. 立即整理现有证据，避免单位销毁；
   
2. 书面要求单位说明派遣理由及法律依据；
   
3. 咨询专业律师（可直接向我提问）制定具体方案，避免错过维权时效。
   

您的情况涉及复杂劳动关系认定，需结合具体证据分析。如有进一步疑问或需要协助，可随时向我提供细节，我会为您详细解答。