单位仅以退休档案和身份证年龄不一样为由解除劳动关系是违法的。具体分析如下：

1. 退休年龄的确定：

   • 根据《关于制止和纠正违反国家规定办理企业职工提前退休有关问题的通知》（劳社部发〔1999〕8号），职工出生时间的认定实行居民身份证与职工档案相结合的办法。当本人身份证与档案记载的出生时间不一致时，以本人档案最先记载的出生时间为准。
   • 这意味着，退休年龄的确定应基于档案中最先记载的出生时间，而非单纯依赖身份证上的年龄。

2. 劳动合同解除的合法性：

   • 劳动合同的解除必须遵循法律法规的规定。单位不能仅以档案年龄和身份证年龄不符为由，错误地认定员工已达到法定退休年龄并解除合同。
   • 如果单位这样做，可能构成违法解除，因为这不是一个符合实际情况或法律规定的解除理由。

3. 法律后果：

   • 如果单位违法解除劳动合同，你有权要求继续履行合同或获得经济赔偿。
   • 经济赔偿的标准通常按照你在本单位工作的年限计算，具体赔偿金额需根据相关法律法规和实际情况确定。

4. 处理建议：

   • 首先，核实自己的档案信息，确认档案中最先记载的出生时间是否准确。
   • 如果发现档案信息与实际情况不符，及时与单位沟通，提供相关证明材料，要求单位更正错误信息。
   • 如果单位坚持按照错误的退休年龄解除劳动合同，你可以通过劳动仲裁或诉讼途径维护自己的合法权益。

综上所述，单位仅以退休档案和身份证年龄不一样为由解除劳动关系是违法的。你应核实自己的档案信息，并与单位沟通解决。如果单位坚持错误做法，你可以通过法律途径维护自己的权益。如果你有其他法律问题或需要进一步的帮助，请直接向我咨询。