公司仅以早退迟到直接开除你，这一行为是否合法，主要取决于以下几个关键因素：
公司规章制度的合法性与合理性
- 合法性：根据《中华人民共和国劳动合同法》第三十九条，公司若要以员工严重违反规章制度为由解除劳动合同，该规章制度必须经过民主程序制定，即需经职工代表大会或全体职工讨论，并与工会或职工代表平等协商确定。同时，规章制度需向员工公示或告知，如通过组织员工培训学习、在公司公告栏张贴、发放员工手册并要求签字确认等方式。
- 合理性：规章制度的内容应合理，不能因偶尔一次迟到早退就界定为严重违纪进而开除员工。例如，公司规定“一个月内累计迟到早退超过3次视为严重违纪”，这样的规定相对合理；但若规定“迟到1分钟即开除”，则可能因过于苛刻而被认定为不合理。
你的迟到早退行为是否构成严重违反规章制度
- 即使公司规章制度合法且合理，你的迟到早退行为也需达到规章制度中规定的严重违纪程度，公司才能依据规章制度解除劳动合同。偶尔一次迟到或早退，且没有给公司造成重大损失或恶劣影响，通常不应被视为严重违反规章制度。
公司开除你的程序是否合法
- 公司开除你时，应遵循法定程序，如提前通知你、说明开除的具体原因和依据、听取你的陈述和申辩等。若公司未遵循这些程序，即使你的行为确实违反了规章制度，开除行为也可能被认定为违法。
是否存在正当理由
- 如果你的迟到早退行为并非出于故意或恶意，而是由于不可抗力或其他正当理由导致的（如突发疾病、家庭紧急事务等），公司在处理时应更加谨慎和人性化，避免直接采取开除等严厉措施。
法律救济途径：
- 如果你认为公司因迟到早退开除你的行为不合法，你可以先与公司协商解决，要求公司说明开除的具体依据和理由，并尝试达成和解。
- 若协商不成，你可以向当地的劳动监察部门投诉，请求劳动监察部门介入调查并处理。
- 你还可以申请劳动仲裁，要求公司支付违法解除劳动合同的赔偿金等。劳动仲裁是解决劳动争议的一种有效方式，其裁决具有法律效力。
举例说明：
- 假设公司规章制度中明确规定“一个月内累计迟到早退超过3次视为严重违纪，公司有权解除劳动合同”，且该规章制度已经过民主程序制定并向你公示。若你一个月内累计迟到早退4次，且没有正当理由，公司依据规章制度开除你，这一行为通常是合法的。
- 反之，若公司规章制度中未明确规定迟到早退的具体次数或时长标准，或者规定过于苛刻（如迟到1分钟即开除），且未向你公示或告知，公司仅以你迟到早退为由直接开除你，这一行为则可能被认定为违法。
总结与建议：
- 公司在做出开除决定前，应确保规章制度的合法性与合理性、遵循法定程序、充分考虑员工行为的严重性以及是否存在正当理由。
- 你在面临开除决定时，也应了解自己的合法权益并寻求适当的法律救济途径。如果你对公司的开除决定有异议，不妨先与公司沟通协商，若协商不成再考虑投诉或申请劳动仲裁。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。