结论：公司以“新人培养起来”为由辞退老人是否违法，需结合具体情形判断，不能一概而论。以下从不同角度分析：
一、若公司辞退行为符合法定情形，则不违法
根据《劳动合同法》第三十九条、第四十条的规定，用人单位在以下情形下可以解除劳动合同：
- 劳动者存在过错：如严重违反用人单位的规章制度、严重失职给用人单位造成重大损害、被依法追究刑事责任等。若“老人”存在上述情形，公司辞退行为合法。
- 客观情况发生重大变化：如劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且用人单位与劳动者协商未能就变更劳动合同内容达成协议的。但此情形需满足“客观情况重大变化”和“协商未果”两个条件，单纯以“新人培养起来”为由不构成合法辞退理由。
- 经济性裁员：用人单位濒临破产进行法定整顿期间或生产经营状况发生严重困难，确需裁减人员的，可依法进行经济性裁员。但需履行法定程序（如提前30日向工会或全体职工说明情况、听取意见、向劳动行政部门报告等），且优先留用符合特定条件的劳动者（如与本单位订立较长期限固定期限劳动合同的、家庭无其他就业人员等）。若公司未履行法定程序或不符合经济性裁员条件，则辞退行为违法。
二、若公司辞退行为不符合法定情形，则违法
若公司无法证明“老人”存在过错、客观情况未发生重大变化、未履行经济性裁员程序，或仅以“新人培养起来”为由单方面解除劳动合同，则构成违法辞退。根据《劳动合同法》第四十八条、第八十七条的规定，劳动者有权要求公司继续履行劳动合同或支付赔偿金（赔偿金标准为经济补偿标准的二倍，经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准计算）。
三、实务建议
- 对劳动者而言：若遭遇违法辞退，可收集证据（如劳动合同、工资记录、辞退通知、沟通记录等）向劳动仲裁委员会申请仲裁，主张继续履行合同或赔偿金。
- 对公司而言：辞退员工需严格依法进行，避免以主观理由（如“新人培养起来”）替代法定情形。若确需调整人员结构，可通过协商一致解除合同（支付经济补偿）或依法进行经济性裁员。
总结：公司以“新人培养起来”为由辞退老人是否违法，需结合具体情形和法定条件判断。若您或身边人遇到此类问题，可直接向我咨询，我会结合具体案情提供专业分析。