结论：合同工档案在自己手里确实可能对办理退休产生影响，这种影响主要体现在无法正常办理退休手续和影响养老金待遇核算两个方面。为确保退休顺利，建议尽快将档案存放至具备档案管理权限的机构。

一、无法正常办理退休手续

在办理退休手续时，社保部门需要严格审核个人档案中的关键信息，这些信息包括参保人的出生日期、参加工作时间、工作经历以及特殊工种年限等，它们直接关系到退休资格的认定和养老金的计算。若档案由个人保管，可能会带来以下问题：

1. 材料审核困难：社保部门难以判断档案的真实性和完整性，因为按照规定，档案应通过公对公的方式传递和保管，而非由个人直接携带。个人保管过程中，档案可能被拆封或篡改，导致社保部门拒绝接收个人自带的档案进行审核。

2. 认定工龄受阻：对于有视同缴费年限的参保人（如养老保险制度实施前在国企、集体企业工作的职工），档案是认定工龄的重要依据。若档案在个人手中出现问题，如材料缺失或损坏，可能导致无法准确认定工龄，进而影响养老金的计算和发放。

二、影响养老金待遇核算

档案的完整性和真实性对于养老金待遇的核算同样至关重要。具体来说，涉及以下几个方面：

1. 特殊工种认定问题：从事特殊工种的人员可享受提前退休和养老金核算倾斜政策。档案中需详细记录特殊工种的工作岗位和时间。若档案在个人手中且记录不规范，可能影响特殊工种提前退休的办理和养老金待遇。

2. 职称评定材料缺失：具有专业技术职称的人员，其职称信息会影响养老金的核算。档案中应包含职称评定的相关材料。若个人保管不善导致材料丢失或损坏，可能使养老金待遇无法按相应职称标准核算。

三、不产生影响的情况及建议

当然，也存在一些不产生影响的情况，比如：

1. 仅存在实际缴费年限：对于无视同缴费年限且按时足额缴纳社保的参保人员，退休时主要依据社保系统中的缴费记录。这种情况下，档案对退休的影响较小，但部分地区仍可能要求提供档案进行简单审核。

2. 灵活就业人员：以灵活就业人员身份参保的人员通常没有正式的人事档案或档案材料相对简单。退休时主要看社保缴费年限和缴费基数，档案影响不大。

建议措施：

为避免档案对个人退休产生不利影响，我建议采取以下措施：

• 尽快存档：联系当地的人才交流中心、就业服务机构或原单位，按照规定的程序将档案存入具备档案保管资质的机构。
• 提供证明材料：存档时可能需要提供相关证明材料以证明档案的真实性和完整性。务必配合相关部门的要求，确保档案材料的齐全和有效。
• 关注政策动态：及时了解当地社保部门和档案管理机构的相关政策动态和办理流程，确保在办理退休手续时能够顺利提交档案并完成审核。

综上所述，合同工档案在自己手里确实可能对办理退休产生影响。为确保退休生活的顺利进行，建议尽早将档案存放至合规机构，并密切关注相关政策动态和办理流程。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。