结论：公司以学历不符为由辞退在单位连续工作多年的员工，这一行为是否合法需分情况讨论，不能一概而论。

分析如下：

1. 若劳动合同或公司规章制度中明确规定了学历要求，且该要求合法合理：

   • 在这种情况下，如果员工入职时即不符合学历要求，但公司未在入职时提出异议，而是多年后才以此为由辞退，这可能涉及公司的管理疏忽或诚信问题。然而，从法律角度讲，如果学历要求确实构成劳动合同的必要条款，且员工确实不符合，公司理论上可以依据劳动合同或规章制度辞退员工。但实际操作中，公司需承担举证责任，证明学历要求与岗位的直接相关性及合理性，且需遵循法定程序（如提前通知、支付经济补偿等）。
   • 特别提醒：即便学历要求合法合理，公司也不能随意辞退员工。根据《劳动合同法》的相关规定，公司需提前三十日以书面形式通知员工本人，或者额外支付员工一个月工资后，才可以解除劳动合同，并且需要支付相应的经济补偿。

2. 若劳动合同或公司规章制度中未明确规定学历要求，或学历要求不合法不合理：

   • 在这种情况下，公司以学历不符为由辞退员工显然缺乏法律依据。学历要求必须与岗位的实际需求直接相关，且不能违反法律法规的强制性规定（如不得歧视特定群体）。如果学历要求不合理或违法，公司以此为由辞退员工将构成违法解除劳动合同，需要承担相应的法律责任。
   • 法律后果：根据《劳动合同法》第八十七条的规定，用人单位违反本法规定解除或者终止劳动合同的，应当依照本法第四十七条规定的经济补偿标准的二倍向劳动者支付赔偿金。即，公司需要支付员工双倍的经济补偿作为赔偿。

3. 关于经济补偿的计算：

   • 经济补偿的计算公式为：经济补偿=工作年限×月工资。其中，工作年限是指员工在公司工作的年限，月工资是指员工在劳动合同解除或者终止前十二个月的平均工资。
   • 示例：假设员工在公司工作了10年，月工资为10000元，那么经济补偿应为10年×10000元/年=100000元。如果公司违法解除劳动合同，则需要支付双倍的经济补偿，即200000元。

建议：

• 如果你认为公司的辞退行为不合法，你可以先与公司进行协商，要求公司撤销辞退决定或支付相应的经济补偿。
• 如果协商无果，你可以向当地的劳动争议仲裁委员会申请劳动仲裁，维护自己的合法权益。
• 在申请劳动仲裁前，建议你收集好相关的证据材料，如劳动合同、工资单、工作证明等，以便在仲裁过程中证明自己的主张。

最后，劳动纠纷的处理往往涉及复杂的法律程序和证据收集，如果你对此感到困惑或不确定如何操作，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。