退休时开始工作时间通常是按照档案来算的。这一点在我国的相关法律法规中有明确规定，具体来说：

1. 法律依据：根据《中华人民共和国社会保险法》等相关法律规定，职工的工作年限、开始工作时间等个人信息，通常以其人事档案中的记载为准。这些档案由用人单位或相关机构负责管理和保存，是职工个人权益的重要依据。

2. 档案的重要性：人事档案是职工个人工作经历、工资待遇、社会保险缴费情况等方面的原始记录，具有法律效力。在办理退休手续时，社保部门或用人单位会依据档案中的记载来确定职工的工作年限、开始工作时间等关键信息，进而计算其应享受的退休待遇。

3. 特殊情况处理：如果档案中的记载与实际情况不符，或者档案丢失、损毁等，职工需要提供其他有效证据来证明自己的工作年限和开始工作时间。这些证据可能包括劳动合同、工资单、社保缴费记录等。在证据充分且真实有效的情况下，相关部门会依据这些证据来重新认定职工的工作年限和开始工作时间。

综上所述，退休时开始工作时间通常是按照档案来算的。因此，职工在工作期间应妥善保管自己的人事档案，确保其中的信息准确无误。如果档案出现问题或争议，应及时向相关部门反映并提供有效证据进行更正或确认。