结论：员工离职时，单位要求交回员工手册是否合法，需分情况讨论。一般来说，若员工手册属于单位财产或包含单位机密信息，单位要求交回是合法的；若仅为普通参考文件且未明确约定归还义务，则单位的要求可能缺乏法律依据。
详细分析：
员工手册的性质与归属：
- 单位财产：如果员工手册是单位统一制作、发放，且明确标注为“单位财产”或类似字样，那么员工在离职时应当交回。这是因为员工手册作为单位的财物，员工离职后不再享有使用权，交回是合理的财产归还行为。
- 普通参考文件：如果员工手册仅作为员工了解单位规章制度、工作流程等的参考文件，且未明确标注为“单位财产”，那么员工在离职时可能无需交回。但这种情况也需结合单位的具体规定和员工手册的内容来判断。
员工手册中是否包含机密信息：
- 包含机密信息：如果员工手册中包含了单位的商业秘密、客户信息、技术秘密等机密信息，那么单位有权要求员工在离职时交回，以防止机密信息泄露。员工有义务保护单位的机密信息，交回员工手册是履行这一义务的一种方式。
- 不包含机密信息：如果员工手册中不包含任何机密信息，仅为一般性的规章制度或工作流程说明，那么单位要求交回的法律依据可能相对较弱。
单位规章制度或劳动合同中的约定：
- 明确约定：如果单位的规章制度或劳动合同中明确规定了员工在离职时需要交回员工手册，那么员工应当遵守这一约定。这是员工与单位之间的一种契约关系，员工有义务履行。
- 未明确约定：如果单位的规章制度或劳动合同中未明确规定员工在离职时需要交回员工手册，那么单位的要求可能缺乏明确的法律依据。在这种情况下，员工可以与单位协商解决，或者根据具体情况判断是否需要交回。
法律建议：
- 对于单位：为了避免纠纷和明确权利义务，单位可以在规章制度或劳动合同中明确规定员工在离职时需要交回员工手册，并说明交回的原因和必要性。同时，单位也可以采取其他措施来保护机密信息，如签订保密协议、限制员工接触机密信息的范围等。
- 对于员工：如果单位要求交回员工手册，员工可以先查看单位的规章制度或劳动合同中是否有相关规定。如果有明确规定，员工应当遵守；如果没有明确规定，员工可以与单位协商解决。在协商过程中，员工可以了解单位要求交回的具体原因和必要性，并根据自己的实际情况做出判断。
可能后果：
- 如果员工拒绝交回员工手册且单位有明确规定或法律依据支持其要求，单位可能会采取法律手段追究员工的责任，如提起劳动仲裁或诉讼等。
- 如果员工交回员工手册但发现其中包含个人笔记或重要信息被单位不当使用或泄露，员工也可以依法维护自己的权益。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。