公司应在劳动关系解除或终止时，及时退还劳动手册（就业失业登记证）给劳动者。具体分析如下：

1. 法律依据与核心要求
   根据《劳动合同法》第五十条及地方性规定（如上海《就业促进条例》），用人单位与劳动者解除或终止劳动关系时，应当同时出具解除/终止劳动合同证明，并在15日内为劳动者办理档案和社会保险关系转移手续。劳动手册作为记录就业状态的核心文件，通常需在此过程中一并退还，以便劳动者办理失业登记、再就业手续或社保接续。

2. 退还时间的具体情形

   • 正常离职：若劳动者主动辞职或合同到期不续签，公司应在办理离职手续时（如最后工作日）当场退还劳动手册。
     
   • 协商解除：双方协商一致解除合同的，退还时间可按协商结果执行，但不得晚于劳动关系终止后15日。
     
   • 公司单方解除：如因劳动者过错（如严重违纪）被辞退，公司仍需在解除合同后15日内退还手册，但可同步出具解除证明说明原因。
     
   • 劳动者违法解除：若劳动者未提前通知擅自离职，公司可暂扣手册作为协商筹码，但需在劳动者补办离职手续（如交接工作）后立即退还，否则可能面临行政处罚。

3. 未及时退还的法律后果
   若公司无正当理由拒不退还或拖延退还，劳动者可向劳动监察部门投诉，公司可能被责令改正；若因此导致劳动者无法享受失业保险待遇或再就业机会损失，劳动者还可通过劳动仲裁要求公司赔偿实际损失（如失业金差额、误工费等）。

建议：若您遇到公司拖延退还劳动手册，可先与公司协商明确退还时间；协商无果的，可携带离职证明、劳动合同等材料向当地劳动监察大队投诉，或直接申请劳动仲裁。如有进一步疑问，欢迎随时向我咨询。