结论：员工离职时，劳动手册和退工单的领取时间并非固定为离职当天，而是受到公司流程、规定以及当地法律法规等多重因素的影响。不过，用人单位有义务在法律规定的十五日内为员工出具退工单和（如适用）归还劳动手册。

详细分析：

1. 退工单的领取时间：

   • 法律规定：根据《中华人民共和国劳动合同法》第五十条，用人单位在解除或终止劳动合同时，必须出具解除或终止劳动合同的证明，即退工单，并在十五日内为劳动者办理档案和社会保险关系转移手续。
   • 实际操作：虽然法律给出了十五天的期限，但许多规范的用人单位会在员工离职当天即交付退工单，特别是对于离职手续简单、无劳动纠纷的情况。若涉及工作交接复杂或需核实工作成果，可能会在几个工作日内出具，但不应超过法定的十五日期限。

2. 劳动手册的领取时间：

   • 一般情况：劳动手册是记录劳动者就业、流动、失业、培训以及领取失业保险金等情况的基本载体。对于已有劳动手册的员工，若手册由单位保管，单位应在出具退工单、办理完离职手续时，将劳动手册一并归还给员工。
   • 特殊情况：如果劳动者在入职时未领取劳动手册，或在离职时劳动手册被用人单位扣留，劳动者有权要求用人单位归还或补办。此外，在某些地区，劳动手册可能由当地人力资源和社会保障部门统一管理和发放，此时劳动者可能需要前往相关部门办理领取或更新手续。

3. 影响领取时间的因素：

   • 公司流程与规定：公司内部的人事流程和规定对劳动手册和退工单的出具时间有显著影响。小型企业因人事流程相对简单，可能在离职当天就能出具；而大型企业则可能因涉及多个部门和层级的签字确认，以及工作交接审核、财务清算等环节，导致出具时间延迟。
   • 劳动纠纷：如果员工与单位之间存在劳动纠纷，如工资争议、未完成的工作项目责任认定等，单位可能会延迟出具退工单和归还劳动手册，直至纠纷得到妥善解决。
   • 地方法律法规：除了国家层面的法律法规外，还需考虑当地的相关法律法规。某些地区可能有更具体的规定，如要求公司在员工离职后的一定时间内必须出具退工单和归还劳动手册，或者提前通知员工离职后的相关手续和时间安排。

4. 员工的权益保障：

   • 主动沟通：为确保自己的权益，员工应在离职前与单位的人力资源部门进行充分沟通，了解其具体的流程和时间安排，协商确定领取劳动手册和退工单的时间。
   • 了解法规：员工也可以查阅所在公司的相关规定或咨询人力资源部门的工作人员，以获取更准确的信息。此外，了解当地的劳动法规也是保障自己权益的重要途径。
   • 投诉与救济：若离职后长时间未收到退工单或劳动手册，员工应及时与单位联系催促，或向劳动监察部门投诉，以维护自己的合法权益。若因此造成损害，如无法及时入职新单位导致的工资损失，员工还有权要求用人单位承担赔偿责任。

建议：为了确保离职过程的顺利和权益的保障，我建议你提前与单位的人力资源部门沟通，了解具体的离职流程和劳动手册、退工单的领取时间。如果有任何疑问或遇到问题，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。