结论：员工迟到或早退几次构成严重违反公司规章制度，并非由次数单一决定，而是需结合公司规章制度的具体内容、迟到早退行为的性质、情节以及造成的后果等多方面因素综合判断。若公司规章制度明确规定了迟到或早退达到一定次数即构成严重违反规章制度，且该规定合法有效，那么员工达到该次数时，公司可依法解除劳动合同并不支付经济补偿。
分析说明：
公司规章制度的重要性：
- 公司规章制度是公司内部管理的重要依据，它规定了员工的行为规范和公司的管理要求。在劳动纠纷中，公司规章制度往往作为判断员工行为是否违规、违规程度如何的重要依据。
- 根据《中华人民共和国劳动合同法》的相关规定，公司规章制度需经民主程序制定，且内容合法、合理，并已向员工公示或告知，方能作为处理劳动纠纷的依据。
迟到或早退行为的性质与情节：
- 迟到或早退是员工违反工作时间规定的行为，但其性质与情节需根据具体情况判断。例如，偶尔的、短时间的迟到或早退，与频繁的、长时间的迟到或早退，在性质上显然不同。
- 若员工迟到或早退行为严重影响了公司的正常运营秩序，或给公司造成了重大损失，那么该行为可能构成严重违反公司规章制度。
公司规章制度中的具体规定：
- 公司规章制度中应明确规定迟到或早退达到何种次数、何种情节即构成严重违反规章制度。这是判断员工行为是否违规的重要依据。
- 若公司规章制度中未明确规定，或规定不明确、不合理，那么公司仅凭迟到或早退次数就解除劳动合同，可能面临法律风险。
法律后果：
- 若员工迟到或早退行为构成严重违反公司规章制度，且公司规章制度合法有效，那么公司可依法解除劳动合同，并不支付经济补偿。
- 若公司规章制度未明确规定，或规定不合法、不合理，或公司解除劳动合同的程序不合法，那么公司可能面临支付经济补偿、赔偿金等法律责任。
行动建议：
对于公司：
- 应制定合法、合理、明确的规章制度，明确规定迟到或早退达到何种次数、何种情节即构成严重违反规章制度。
- 在解除劳动合同前，应确保规章制度已向员工公示或告知，且解除劳动合同的程序合法。
- 若面临劳动纠纷，应及时收集、整理相关证据，以证明员工行为的违规性及公司的处理合法性。
对于员工：
- 应遵守公司规章制度，按时上下班，避免迟到或早退行为。
- 若对公司规章制度有异议，或认为公司处理不合法，可及时与公司沟通协商，或寻求法律援助。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。