结论：工作多年档案一直在手里，单位是否有责任需分情况讨论，主要取决于档案未及时转递或接收的原因以及单位的具体行为。
分析：
单位有责任的情况：
- 未履行转递义务：根据相关规定，员工离职时，单位有义务将其档案及时转递至新的接收单位或人才交流中心。如果单位未履行这一义务，导致档案长时间留在员工手中，那么单位应当承担相应的责任。
- 故意扣留档案：如果单位出于某种原因（如报复、拖延等）故意扣留员工档案，不办理转递手续，那么单位的行为明显违法，应当承担法律责任。
单位无责任的情况：
- 员工自行取走档案：如果员工在离职时自行取走了档案，并且单位已经明确告知了档案转递的流程和注意事项，但员工仍然选择自行保管，那么在这种情况下，单位通常不承担责任。
- 不可抗力因素：在某些特殊情况下，如自然灾害、政策变动等不可抗力因素导致档案无法及时转递或接收，单位也可能不承担责任。但这种情况下，单位需要提供充分的证据来证明其已经尽到了合理的努力。
法律建议：
- 与单位沟通：首先，建议你与单位进行沟通，了解档案未转递的具体原因。如果是因为单位的原因导致的，你可以要求单位尽快办理档案转递手续。
- 寻求法律援助：如果单位拒绝履行义务或故意扣留档案，你可以向当地的劳动监察部门投诉或寻求法律援助。在投诉或寻求法律援助时，你需要提供相关的证据材料，如离职证明、档案转递通知等。
- 注意档案保管：在档案问题解决之前，你需要注意妥善保管档案，避免档案丢失或损坏。如果档案丢失或损坏，可能会对你的未来就业、社保等方面产生不利影响。
可能后果：
- 影响就业：档案是员工个人经历的重要记录，对于未来的就业、晋升等方面都有重要影响。如果档案长时间留在手中或丢失，可能会影响你的就业机会。
- 社保问题：档案中的社保记录对于你的社保权益有重要影响。如果档案问题导致社保记录缺失或错误，可能会影响你的社保待遇。
总结：工作多年档案一直在手里，单位是否有责任需根据具体情况来判断。建议你先与单位沟通了解原因，并根据实际情况采取相应的法律措施来维护自己的权益。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。