迟到早退的管理责任通常归属于用人单位的人力资源部门或直接上级管理部门，具体取决于公司的组织架构和管理制度。以下从不同角度进行详细分析：
人力资源部门的角度：
- 制度制定与监督：人力资源部门负责制定公司的考勤管理制度，明确迟到、早退的定义、处罚措施以及请假流程等。同时，他们负责监督这些制度的执行情况，确保员工遵守。
- 数据记录与统计：人力资源部门通常负责记录员工的考勤数据，包括迟到、早退的次数和时长。这些数据对于评估员工的工作态度、绩效以及进行奖惩决策具有重要意义。
- 处理违规行为：当员工出现迟到早退等违规行为时，人力资源部门会根据公司的规章制度进行相应的处理，如口头警告、书面警告、扣发奖金或工资、甚至解除劳动合同等。
直接上级管理部门的角度：
- 日常管理：员工的直接上级（如部门经理、主管等）在日常工作中负责监督员工的工作表现，包括考勤情况。他们有权对员工的迟到早退行为进行提醒、批评或上报。
- 绩效评估：在绩效评估过程中，直接上级会考虑员工的考勤情况作为评估指标之一。频繁的迟到早退可能会影响员工的绩效评分，进而影响其晋升、加薪等职业发展机会。
- 沟通与协调：当员工因特殊原因（如交通拥堵、家庭突发情况等）导致迟到早退时，直接上级可以与员工进行沟通，了解原因并协调解决方案，如调整工作时间、安排补班等。
法律建议：
- 对于员工而言，应严格遵守公司的考勤管理制度，避免迟到早退等违规行为。如因特殊原因无法按时到岗，应及时向直接上级或人力资源部门请假并说明原因。
- 对于用人单位而言，应制定完善的考勤管理制度，并明确告知员工。同时，应确保制度的公平性和合理性，避免过度处罚或歧视性条款。在处理迟到早退等违规行为时，应依法依规进行，确保员工的合法权益不受侵害。
可能的法律后果：
- 如果员工频繁迟到早退且拒不改正，用人单位有权根据规章制度进行处罚，甚至解除劳动合同。但在此过程中，用人单位必须确保程序的合法性和公正性，否则可能面临劳动争议和法律风险。
- 如果用人单位的考勤管理制度存在不合理或歧视性条款，员工有权向劳动监察部门投诉或提起劳动仲裁，维护自己的合法权益。
如有任何关于迟到早退等劳动法律问题的疑问或需要进一步的法律帮助，请直接向我咨询。