结论：单位以迟到早退为由解除合同是否违法，需根据具体情况判断，包括迟到早退的严重程度、公司规章制度是否合法合理以及解除合同的程序是否合法等。

分析如下：

1. 迟到早退的严重程度：

   • 如果员工的迟到早退行为是偶尔的、轻微的，并且没有对公司造成实质性的损失或影响，那么单位以此为由解除合同可能构成违法解除。因为根据《劳动合同法》的相关规定，用人单位解除劳动合同应当有合法、合理的理由，并且需要遵循一定的程序。
   • 如果员工的迟到早退行为是频繁的、严重的，并且已经对公司造成了实质性的损失或影响，那么单位在符合规章制度和法定程序的前提下，有权解除劳动合同。

2. 公司规章制度的合法性：

   • 单位解除劳动合同的依据通常是公司的规章制度。如果公司的规章制度中明确规定了迟到早退达到一定程度可以解除劳动合同，并且该规章制度是经过民主程序制定、公示并告知员工的，那么单位在员工违反该规定时有权解除劳动合同。
   • 如果公司的规章制度没有明确规定，或者规定不合法、不合理，或者没有经过民主程序制定、公示并告知员工，那么单位以此为由解除劳动合同可能构成违法解除。

3. 解除合同的程序合法性：

   • 即使员工的迟到早退行为严重违反了公司的规章制度，单位在解除劳动合同时也需要遵循一定的程序。例如，单位需要事先将解除劳动合同的理由通知员工，并听取员工的申辩意见；如果员工要求，单位还需要组织听证会等。
   • 如果单位没有遵循这些程序，直接解除劳动合同，那么可能构成违法解除。

法律建议：

• 如果您认为单位以迟到早退为由解除合同是违法的，您可以先与单位进行协商，要求单位提供解除合同的合法依据和程序证明。
• 如果协商无果，您可以向当地的劳动仲裁机构申请劳动仲裁，要求单位承担违法解除劳动合同的法律责任，包括支付赔偿金等。
• 在申请劳动仲裁前，建议您收集好相关证据，如考勤记录、公司规章制度、解除劳动合同的通知等，以便在仲裁过程中证明自己的主张。

可能后果：

• 如果单位被认定为违法解除劳动合同，那么单位需要向您支付赔偿金，赔偿金的数额通常根据您在单位的工作年限和工资水平来确定。
• 如果单位被认定为合法解除劳动合同，那么您将无法获得赔偿金，但您可以要求单位出具解除劳动合同的证明，并办理相关手续。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。