关于单位对迟到早退写异常打卡记录是否违法的问题，这主要取决于单位的具体做法以及是否遵循了相关法律法规。

首先，我们需要明确的是，单位对员工的考勤进行管理，包括记录迟到早退情况，是单位正常管理行为的一部分，并不直接构成违法。单位有权根据自身的规章制度对员工的出勤情况进行监督和记录，这是为了维护单位的正常运营秩序和工作效率。

然而，关键在于单位如何处理这些迟到早退的记录。根据相关法律法规，单位不能直接对员工进行罚款。罚款是一种行政处罚，根据《中华人民共和国行政处罚法》的规定，只有具有行政处罚权的行政机关才能在法定职权范围内实施。普通用人单位并不具备这样的权力，因此，如果单位以迟到早退为由对员工进行罚款，这是不合法的。

进一步来说，如果单位因为员工迟到早退而采取解雇等更严厉的处罚措施，那么这必须基于单位已经公示并告知员工的规章制度，且这些规章制度必须经过合法程序制定，如经过职工代表大会讨论等。同时，单位在处理员工违纪行为时，应当遵循合理、限度和善意的原则，区分违纪行为的严重程度，分情形处理。

以您提供的案例为例，何某因多次迟到早退被公司开除，法院认定公司行为并无不当，因为公司已经公示了考勤管理规定，并向何某发放了员工手册，且何某的行为确实违反了公司规定。而李某的情况则不同，公司仅因其迟到几分钟就断定其严重违反公司规章制度，却未对其提前上班和加班行为给予任何奖励，这违背了用工管理的合理、善意和限度原则，因此法院调解后公司支付了李某经济赔偿金。

综上所述，单位对迟到早退写异常打卡记录本身并不违法，但单位在处理这些记录时必须遵循相关法律法规和合理、限度的原则，不能直接对员工进行罚款或采取其他不合理的处罚措施。如果单位的行为违反了相关法律法规或规章制度，员工有权通过劳动仲裁或诉讼等途径维护自己的合法权益。