结论：即使劳动合同上写有“保密协议参照附件”但实际合同没有附件，离职后您仍可能需要遵守保密义务，具体取决于保密协议是否以其他形式存在、保密信息的性质以及相关法律法规的规定。以下从多个角度为您详细分析：

1. 保密协议的效力与形式

• 书面形式要求：根据《中华人民共和国劳动合同法》及相关规定，保密协议通常需要以书面形式订立，明确保密信息的范围、保密期限及违约责任等。若劳动合同中仅提及“参照附件”但无实际附件，且双方未以其他书面形式（如单独签订保密协议）明确保密义务，则可能因形式要件缺失导致保密协议不成立。
• 例外情形：若您在劳动合同履行过程中实际接触了用人单位的商业秘密或敏感信息，且用人单位能证明您明知或应知保密义务的存在（如通过培训、邮件、口头告知等方式），即使未签订书面保密协议，您仍可能因《反不正当竞争法》等规定承担保密义务。

2. 保密义务的来源

• 劳动合同约定：若劳动合同中除“参照附件”外，还明确列出了保密信息的具体内容（如技术秘密、客户名单等），即使无附件，该条款仍可能被认定为有效，您需遵守保密义务。
• 法定保密义务：根据《反不正当竞争法》第九条，劳动者在离职后仍不得披露、使用或允许他人使用其在原单位任职期间知悉的商业秘密，无论是否签订保密协议。

3. 保密期限与违约责任

• 保密期限：若保密协议（或劳动合同中的保密条款）明确约定了保密期限（如离职后2年），您需在该期限内履行保密义务；若未约定期限，则通常认为保密义务持续至商业秘密公开或失去商业价值时止。
• 违约责任：若您违反保密义务，用人单位可要求您承担民事赔偿责任（包括直接损失和可得利益损失）；若行为构成犯罪（如侵犯商业秘密罪），还可能面临刑事处罚。

4. 实务建议

• 核查证据：检查劳动合同、员工手册、培训记录、邮件等材料，确认是否存在其他形式的保密协议或保密义务告知。
• 咨询用人单位：若对保密义务存在疑问，可向原用人单位人力资源部门或法务部门咨询，明确保密范围及期限。
• 谨慎处理信息：即使无明确保密协议，也应对在原单位接触的敏感信息保持谨慎，避免因疏忽导致法律风险。

5. 特殊情形

• 竞业限制与保密义务的区别：若劳动合同中同时约定了竞业限制条款（如离职后2年内不得到竞争对手处工作），则您需遵守竞业限制义务，用人单位需按月支付经济补偿；若未约定经济补偿且用人单位3个月未支付，您可请求解除竞业限制约定（《最高人民法院关于审理劳动争议案件适用法律问题的解释（一）》第三十八条）。
• 用人单位未支付保密补偿：保密义务通常不依赖于经济补偿，即使用人单位未支付补偿，您仍需履行保密义务；但若竞业限制协议中约定了经济补偿且用人单位未支付，您可主张解除竞业限制约定。

总结：离职后是否需遵守保密义务，需结合保密协议的形式、内容及实际履行情况综合判断。建议您根据上述分析核查相关证据，必要时向我进一步咨询，以明确自身权利义务，避免法律风险。