公务员上班迟到早退的处罚依据主要来源于法律法规以及单位内部规章制度，具体分析如下：
法律法规依据
《中华人民共和国公务员法》：该法明确规定了公务员应当遵守纪律，恪守职业道德，模范遵守社会公德。迟到早退显然违背了公务员对工作应有的勤勉尽责要求，损害了公务员队伍的形象和声誉，也影响了工作效率和服务质量。根据情节轻重，公务员可能会受到警告、记过、记大过、降级、撤职甚至开除等纪律处分。
《行政机关公务员处分条例》：虽然该条例没有直接对迟到早退作出具体处分规定，但其中第十九条列举了多项违反组织纪律的行为，并规定了相应的处分措施。迟到早退可以被视为“旷工”或“其他违反组织纪律的行为”的一种表现。例如，该条例第十九条第七项规定：“旷工或者因公外出、请假期满无正当理由逾期不归，造成不良影响的”，将给予警告、记过或者记大过处分；情节较重的，给予降级或者撤职处分；情节严重的，给予开除处分。长期或多次迟到早退，影响工作正常开展、造成不良后果的，还可能被视为“玩忽职守，贻误工作”，从而面临更严厉的处分。
单位内部规章制度依据
除了法律法规外，各行政机关通常还会结合自身工作特点和要求，制定具体、细致的考勤制度。这些制度往往对公务员的上下班时间、请假流程等有着明确的规定。公务员迟到早退不仅违反了这些内部考勤规定，还会依据制度受到批评教育、扣发绩效奖金、取消评优评先资格等处理。这些处理措施虽然不属于法律上的纪律处分，但同样会对公务员的职业发展产生不良影响。
建议与结论：
公务员应严格遵守工作纪律和时间管理规定，按时上下班，不得迟到早退。如有特殊情况需请假或调整工作时间，应按照相关规定提前办理请假手续并获得批准。这样不仅能确保公务员队伍的正规化、专业化建设，提高工作效率和服务水平，还能维护公务员队伍的良好形象和声誉。
如果您是公务员且遇到了迟到早退相关的处罚问题，或者您是单位管理人员需要制定或执行相关考勤制度，都可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。