结论：公司因您多年前有案底而开除您，这一行为是否合法需分情况讨论，不能一概而论。
分析如下：
如果案底与工作无直接关联且不影响工作：
- 根据《劳动合同法》的相关规定，用人单位在招聘员工时，除特定岗位（如涉及国家安全、机密等）外，一般不得以员工有犯罪记录为由拒绝录用或解除劳动合同。
- 如果您的案底与当前工作无直接关联，且不影响您正常履行工作职责，那么公司以此为由开除您，可能构成违法解除劳动合同。
- 在这种情况下，您有权要求公司继续履行劳动合同，或者要求公司支付违法解除劳动合同的赔偿金。赔偿金的标准通常为经济补偿金的两倍，经济补偿金则根据您在公司的工作年限和月工资水平来计算。
如果案底与工作有直接关联或影响工作：
- 如果您的案底与当前工作有直接关联，例如您曾因盗窃被判刑，而现在从事的是财务或仓库管理等工作，那么公司可能会认为您的犯罪记录对工作构成了潜在威胁，从而有权解除劳动合同。
- 但即便如此，公司也需要遵循一定的程序，如提前通知您、听取您的申辩等，并且需要证明您的犯罪记录确实对工作产生了实质性影响。
- 如果公司未能遵循这些程序或无法证明犯罪记录对工作的影响，那么其解除劳动合同的行为仍然可能构成违法。
公司规章制度的影响：
- 如果公司的规章制度中明确规定了员工有犯罪记录时公司可以解除劳动合同，并且这一规定不违反法律法规的强制性规定，那么公司可能会依据这一规定来开除您。
- 但同样，公司需要证明这一规章制度已经向您公示或告知，并且您的犯罪记录确实符合规章制度中规定的解除条件。
建议：
- 收集证据：首先，您需要收集相关证据，如公司的开除通知、您的犯罪记录证明、工作表现证明等，以证明公司的开除行为是否合法。
- 与公司协商：在收集到足够证据后，您可以尝试与公司进行协商，看是否能够达成和解或继续履行劳动合同。
- 申请劳动仲裁：如果协商无果，您可以向当地的劳动仲裁机构申请劳动仲裁，要求公司支付违法解除劳动合同的赔偿金或继续履行劳动合同。
- 寻求法律援助：在整个过程中，如果您感到困惑或无助，可以寻求专业律师的法律援助，以确保您的权益得到充分保护。
后续行动提示：
- 在处理此类纠纷时，请务必保持冷静和理性，避免采取过激行为。
- 及时咨询专业律师，了解您的法律权益和可能的法律后果。
- 根据律师的建议和实际情况，制定合适的维权策略。
如果您有任何进一步的疑问或需要法律帮助，请直接向我咨询。