结论：员工在公司干了20多年，即使违反了公司的规章制度，公司也不能直接开除，而需要依据具体情况和法律规定来处理。
分析：
规章制度与劳动合同的关系：
- 公司的规章制度是公司内部的管理规范，但并非所有规章制度都能直接作为开除员工的依据。规章制度必须合法、合理，并且已经向员工公示或告知，才能对员工产生约束力。
- 如果规章制度中的某些条款与劳动合同或法律法规相冲突，那么这些条款可能是无效的，不能作为开除员工的依据。
违反规章制度的严重性：
- 并非所有违反规章制度的行为都足以导致开除。公司需要评估员工违反规章制度的严重性，以及该行为是否对公司造成了重大损失或影响。
- 如果员工的违反行为轻微，且未对公司造成实质性损害，公司通常应采取警告、罚款、降职等较轻的处罚措施，而不是直接开除。
开除员工的法律程序：
- 如果公司认为员工的违反行为严重到足以开除，那么公司必须遵循一定的法律程序。这通常包括向员工发出书面警告、给予员工申辩的机会、听取员工的意见等。
- 在某些情况下，公司还需要事先将开除理由通知工会或职工代表大会，并听取他们的意见。
经济补偿与赔偿：
- 如果公司违法开除员工，员工有权要求公司支付经济补偿金或赔偿金。经济补偿金通常根据员工在公司的工作年限和工资水平来计算。
- 对于在公司工作了20多年的员工，如果公司违法开除，那么经济补偿金或赔偿金的数额可能会相当可观。
建议：
- 公司方面：在处理违反规章制度的员工时，公司应谨慎行事，确保规章制度合法、合理，并遵循法律程序。在决定开除员工之前，应充分评估违反行为的严重性和对公司的影响，并考虑是否有其他更合适的处罚措施。
- 员工方面：如果员工认为自己被违法开除，可以收集相关证据，如劳动合同、规章制度、警告通知等，并向劳动仲裁机构申请仲裁或向法院提起诉讼，以维护自己的合法权益。
可能后果：
- 如果公司违法开除员工，除了需要支付经济补偿金或赔偿金外，还可能面临劳动行政部门的处罚，如罚款、责令改正等。
- 员工的声誉和职业生涯也可能受到一定影响，但具体影响程度取决于多种因素，如员工的行业地位、个人能力等。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。