结论前置：劳动手册未交给公司，并不意味着劳动者可以随时离职，是否可以随时离职需根据劳动合同的履行情况、解除劳动合同的合法性等多个因素综合判断。以下分情况详细说明：
若劳动合同未到期，且劳动者无合法解除理由：
- 劳动手册未交给公司，并不构成劳动者可以随时解除劳动合同的法定理由。根据《劳动合同法》的规定，劳动者解除劳动合同，应当遵循法定程序，如提前三十日以书面形式通知用人单位（试用期提前三日），或者与用人单位协商一致。若劳动者未履行这些程序，擅自离职，可能构成违法解除劳动合同，需承担相应的法律责任，如赔偿用人单位因此遭受的损失。
若劳动合同未到期，但劳动者有合法解除理由：
- 如用人单位存在未按照劳动合同约定提供劳动保护或者劳动条件、未及时足额支付劳动报酬、未依法为劳动者缴纳社会保险费等违法行为，劳动者可以依据《劳动合同法》的规定，立即解除劳动合同，无需提前通知用人单位。在此情况下，劳动手册未交给公司，并不影响劳动者行使合法解除权。但劳动者在离职时，仍应妥善处理与用人单位的交接事宜，包括劳动手册的归还或交接。
若劳动合同已到期或双方协商一致解除：
- 劳动合同到期，双方未续签的，劳动合同自然终止，劳动者可以离职。此时，劳动手册的交接应作为离职手续的一部分，但并非劳动者可以随时离职的法定条件。若双方协商一致解除劳动合同，同样应按照协商的内容办理离职手续，包括劳动手册的交接。
额外提醒：
- 劳动手册是记录劳动者就业经历、享受社会保险待遇等权益的重要凭证，劳动者应妥善保管，并在离职时按照用人单位的要求进行交接。
- 若劳动者因劳动手册未交接而面临用人单位的追责或损失赔偿，劳动者应积极与用人单位沟通协商，寻求妥善解决方案。若协商无果，劳动者可以依法向劳动争议调解仲裁机构申请调解或仲裁，维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。