老员工单位以考核不合格为由辞退员工，这种做法在一般情况下是不合法的。辞退员工必须要有合法的理由，单纯的以考核制度来实施此行为是不合法的。以下是对此问题的详细分析：
考核制度的合法性：
- 考核制度必须经过民主程序制定，内容应合理、具体、明确，且不违反法律法规的强制性规定。
- 如果考核制度未经民主程序制定，或由用人单位单方面随意设定，或考核内容不合理，则以此为由辞退员工是不合法的。
员工不符合考核要求的证明：
- 用人单位需持有充分证据，如考核评分记录、工作成果报告等，证明老员工经客观、公正的考核后，确实未达到制度规定的标准。
- 如果考核过程存在主观偏见、不公平对待，或未给予员工足够时间和条件完成考核任务，则考核结果不能作为辞退的依据。
法定程序的履行：
- 辞退前，用人单位需将考核结果告知员工，并给予其陈述和申辩的机会。
- 辞退必须按照《中华人民共和国劳动合同法》规定的解除劳动合同程序进行，如提前通知工会（如有）、出具解除劳动合同证明等。
- 如果未履行法定程序，则辞退行为是不合法的。
培训或调整岗位后的再考核：
- 对于不能胜任工作的老员工，用人单位应先提供培训或调整工作岗位。
- 若员工经过培训或调整岗位后，仍不能胜任工作，用人单位方可依法辞退。
如果单位以考核不合格为由违法辞退老员工，老员工可以要求单位支付赔偿金。赔偿金计算具体如下：
- 计算方式：赔偿金按劳动者在本单位工作的年限，以每满一年支付两个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付一个月工资的赔偿金。
- 工资标准：月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资。
- 赔偿限额：如果劳动者月工资高于用人单位所在直辖市、设区的市级人民政府公布的本地区上年度职工月平均工资三倍的，向其支付赔偿金的标准按职工月平均工资三倍的数额支付，向其支付赔偿金的年限最高不超过十二年。
综上所述，以考核不合格为由辞退老员工，在大多数情况下是不合法的。用人单位应确保考核制度的合法性、考核过程的公正性，以及辞退程序的合法性。如果老员工认为自己被违法辞退，可以依法维护自己的权益。