公职人员迟到早退应根据情节轻重，依据相关法律法规和单位内部规章制度进行相应处理。

一. 法律法规依据

1. 《事业单位人事管理条例》：该条例明确规定，事业单位应建立健全人事管理制度，包括考勤制度。工作人员需遵守单位规章制度，按时上下班是基本工作纪律。对于公职人员而言，同样需遵守相关规定，迟到早退将可能面临相应的处理。

2. 《中华人民共和国公职人员政务处分法》：该法第三十九条规定，公职人员不履行或者不正确履行职责，玩忽职守，贻误工作的，根据情节轻重，将可能受到警告、记过、记大过、降级、撤职或开除的处分。迟到早退作为不履行工作纪律的表现，也可依据此条款进行处理。

3. 《中国共产党纪律处分条例》：对于党员公职人员，若在工作中不履行或者不正确履行职责，造成损失或者不良影响的，将视具体情节给予警告直至开除党籍处分。迟到早退同样可能触发此条例的相关规定。

二. 处理措施

1. 批评教育：对于偶尔迟到早退、情节较轻的公职人员，可采取批评教育的方式，提醒其遵守工作纪律，增强时间管理意识。

2. 通报批评与绩效扣分：若公职人员迟到早退次数较多或情节较为严重，可在单位内部进行通报批评，并依据单位绩效考核制度扣除相应分数或奖金，以示惩戒。

3. 纪律处分：对于严重违反工作纪律，如因迟到早退导致重要工作延误或造成不良影响的公职人员，应依据相关法律法规和单位内部规章制度给予警告、记过、记大过、降级、撤职或开除等纪律处分。

三. 处理程序的合法性与公正性

在处理公职人员迟到早退问题时，应确保处理程序的合法性与公正性。单位应调查核实迟到早退事实、原因和情节，并告知当事人处理依据、理由和结果。当事人有权进行陈述申辩，对处理决定不服时，可申请复核或提出申诉。

我建议，公职人员应严格遵守工作纪律，按时上下班，树立良好的工作作风。同时，单位也应加强考勤管理，建立健全相关制度，确保处理公职人员迟到早退问题的合法性与公正性。如有进一步需要，您可以继续咨询我。