结论：单位在您60岁时辞退您是否合法，需根据具体情况判断，主要取决于辞退的理由是否符合法律规定。以下分情况详细说明：

1. 若单位以您达到法定退休年龄为由辞退：

   • 法律背景：根据《劳动合同法实施条例》第二十一条，劳动者达到法定退休年龄的，劳动合同终止。但这里的关键是“法定退休年龄”的确定。目前，我国的法定退休年龄一般是男职工60周岁，女职工55周岁（对于女工人可能是50周岁，具体根据地方政策或单位规定）。若您本应62岁退休的说法有特定依据（如特殊工种、政策调整等），则需进一步核实。
   • 分析：如果按照国家一般规定，您60岁已达到法定退休年龄，单位以此为由辞退您，通常是合法的。但如果您因特殊原因（如政策调整导致退休年龄延迟）本应62岁退休，且单位在辞退时未考虑这一特殊情况，则可能构成违法辞退。

2. 若单位以其他非法定理由辞退：

   • 法律背景：根据《劳动合同法》第三十九条、第四十条，单位辞退员工需有合法理由，如严重违反单位规章制度、不能胜任工作等，且需遵循法定程序。若单位无正当理由辞退您，则构成违法辞退。
   • 分析：如果单位在您60岁时，以非法定理由（如单纯想减少成本、个人偏见等）辞退您，那么这种辞退行为是违法的。您有权要求单位继续履行劳动合同，或者要求单位支付违法辞退的赔偿金。

3. 关于退休年龄的特殊情况：

   • 政策调整：如果因政策调整导致退休年龄变更，且该政策具有溯及力或对您有直接影响，单位应依据新政策执行。若单位未执行新政策而提前辞退您，可能构成违法。
   • 特殊工种或岗位：对于某些特殊工种或岗位，国家可能规定了不同的退休年龄。如果您属于这类情况，且单位未考虑这一特殊因素而辞退您，也可能构成违法。

建议：

• 核实退休年龄：首先，您需要核实自己的法定退休年龄，了解是否有特殊政策或规定适用于您。
• 与单位沟通：与单位人力资源部门或相关负责人沟通，了解辞退的具体原因和依据。
• 寻求法律帮助：如果您认为单位的辞退行为违法，可以收集相关证据（如劳动合同、辞退通知、工资单等），并咨询专业律师（即我，冯忠山律师，专注于劳动纠纷等领域），以便更好地维护自己的合法权益。

可能后果：

• 如果单位辞退行为合法，您可能需要接受辞退结果，并办理相关退休手续。
• 如果单位辞退行为违法，您有权要求单位继续履行劳动合同或支付赔偿金，具体数额需根据您的工资水平、工作年限等因素计算。如有需要，我可以为您提供更详细的计算方法和建议。