迟到早退是否算违纪，这主要取决于用人单位的规章制度以及相关法律法规的规定。以下是从不同角度对此问题的详细分析：
用人单位规章制度的角度：
- 用人单位有权根据自身生产经营特点和管理需要，依法制定劳动规章制度。这些规章制度中通常会明确迟到早退的定义、具体界定以及相应的处罚措施。
- 如果员工的迟到早退行为违反了用人单位的规章制度，且该规章制度是依法制定并公示的，那么用人单位有权依据规章制度对员工进行相应的处罚，包括警告、扣薪、解除劳动合同等。
法律法规的角度：
- 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》的相关规定，劳动者应当遵守劳动纪律和用人单位的规章制度。迟到早退行为如果严重违反了劳动纪律或用人单位的规章制度，用人单位有权解除劳动合同。
- 具体来说，如果迟到早退行为达到了“严重违反”的程度，且用人单位有充分证据证明这一点，同时结合单位规章制度中的明确规定以及员工的实际违纪次数、频率等情况来综合判断，用人单位可以依据《劳动合同法》第三十九条的规定，以严重违反用人单位规章制度为由解除劳动合同。但需要注意的是，如果单位以此为由解除劳动合同，通常需要确保处罚措施的合法性与合理性，避免引发不必要的法律纠纷。
员工权益保障的角度：
- 员工在面对迟到早退的处罚时，也有权维护自己的合法权益。如果员工认为用人单位的处罚措施不合法或不合理，可以通过与用人单位沟通、向劳动监察部门投诉或申请劳动仲裁等方式来维护自己的权益。
- 用人单位在制定和执行相关规章制度时，也应遵循公平、公正、合理的原则，确保员工的合法权益不受侵犯。
具体处理措施的建议：
- 对于迟到早退的员工，用人单位应采取合理的处罚措施，如警告、扣薪等，并确保处罚的合法性和合理性。避免过度处罚或违法处罚，以免引发不必要的法律纠纷。
- 用人单位应加强与员工的沟通，了解员工迟到早退的原因，并帮助员工解决实际问题。同时，也可以通过加强考勤管理、提高员工福利等措施来减少迟到早退现象的发生。
举例说明：
假设某公司的规章制度中明确规定，员工每月迟到早退累计超过3次，将视为严重违反规章制度，用人单位有权解除劳动合同。如果某员工在一个月内迟到了4次，且用人单位有充分的证据证明这一点，那么用人单位可以依据规章制度解除与该员工的劳动合同。
总结与建议：
迟到早退是否算违纪，主要取决于用人单位的规章制度以及相关法律法规的规定。用人单位应依法制定并公示规章制度，确保处罚措施的合法性与合理性；员工也应遵守劳动纪律和公司的规章制度，共同维护良好的工作环境和秩序。如果员工对迟到早退的处罚有异议，可以通过合法途径维护自己的权益。如果你有任何具体的法律问题或需要进一步的法律建议，请直接向我咨询。