公职人员迟到早退能否作为开除理由，需结合具体情况及单位规章制度综合判断，不能一概而论。以下从不同角度进行分析：
单位规章制度层面：
- 如果公职人员所在的单位有明确的规章制度，且该规章制度中明确规定了迟到早退达到一定次数或程度可以作为开除的理由，那么在这种情况下，迟到早退确实有可能成为开除的依据。但前提是，这些规章制度必须合法合规，且已经通过合法程序告知公职人员。
- 法律依据：根据《中华人民共和国公务员法》及相关规定，公务员的处分应当遵循法定程序，且处分种类和适用情形有明确规定。虽然迟到早退可能违反工作纪律，但是否直接导致开除，还需看具体规章制度和情节严重程度。
情节严重程度层面：
- 迟到早退如果只是偶尔发生，且情节轻微，通常不会直接导致开除。但如果迟到早退行为频繁发生，且对工作造成了严重影响，如导致重要任务延误、影响单位形象等，那么单位可能会考虑给予更严厉的处分，包括开除。
- 实际案例：在实际操作中，因迟到早退被开除的公职人员案例相对较少，通常需要迟到早退行为达到非常严重的程度，且单位有明确的规章制度作为依据。
法律程序层面：
- 即使单位认为公职人员的迟到早退行为严重违反了规章制度，也不能直接开除。单位需要按照法定程序进行调查、取证、听取陈述申辩等，确保处分决定的合法性和公正性。
- 法律依据：根据《中华人民共和国行政机关公务员处分条例》等相关规定，对公务员的处分应当事实清楚、证据确凿、定性准确、处理恰当、程序合法、手续完备。
建议：
- 对于公职人员而言，应严格遵守单位的规章制度，避免迟到早退等行为的发生。如果确实因特殊原因需要迟到或早退，应及时向单位请假并说明原因。
- 对于单位而言，应制定合法合规的规章制度，并明确迟到早退等行为的处分措施。在处理迟到早退行为时，应遵循法定程序，确保处分决定的合法性和公正性。
总结：公职人员迟到早退能否作为开除理由，并非简单的是非问题，而是需要结合单位规章制度、情节严重程度以及法律程序等多方面因素进行综合判断。如果您或您身边的公职人员遇到了类似问题，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。