忘记自己离开单位的时间确实可能会对办理退休手续产生一定的影响，但不必过于担心，以下是一些建议和解决方案：
首先，要明确的是，办理退休手续主要依据的是个人的年龄、养老保险缴费年限以及是否满足退休条件，而离开单位的具体时间虽然可能涉及到一些细节问题，但并不是决定性的因素。
如果您忘记了自己离开单位的具体时间，可以尝试通过以下几种途径来查询：
查阅个人档案：通常，单位会为员工建立个人档案，其中包含了员工的工作经历、职务变动、薪资调整等信息。您可以联系原单位的人事部门或档案管理部门，申请查阅个人档案，以获取离开单位的具体时间。
咨询社保机构：社保机构是负责管理和记录个人社保缴费情况的机构。您可以携带身份证等相关证件，前往当地社保机构咨询窗口，查询自己的社保缴费记录，从而推算出离开单位的大致时间。
询问同事或朋友：如果与原来的同事或朋友保持联系，也可以尝试询问他们是否还记得您离开单位的具体时间。虽然这种方法可能不够准确，但在某些情况下也能提供一定的帮助。
在确定了离开单位的时间后，您可以按照正常的退休申请流程来办理退休手续。如果您发现由于离开单位的时间问题导致某些材料或证明缺失，可以尝试与原单位沟通，看是否能够提供必要的协助或证明。
最后，需要强调的是，办理退休手续是一个相对复杂的过程，涉及到多个部门和多个环节。因此，建议您在办理前提前了解相关政策和流程，并准备好所有必要的材料和证明。如果遇到任何问题或困难，可以及时咨询相关部门或专业人士，以获取帮助和指导。