针对公职人员不遵守上下班时间的问题，处理方式需结合具体情节、单位制度及法律规定综合判断，以下是分情况说明：

1. 若违反单位内部考勤制度
   根据《公务员法》第五十九条，公务员应当遵守纪律，不得有“违反有关规定参加禁止性活动”或“不遵守工作纪律”等行为。若单位已制定明确的考勤制度（如迟到、早退的扣罚规则），公职人员不遵守上下班时间属于违反工作纪律，单位可依据制度采取以下措施：

   • 批评教育：对首次或情节轻微者，由单位负责人或纪检部门进行口头或书面批评；
     
   • 扣减绩效：根据制度扣减当月或季度绩效工资；
     
   • 通报批评：在单位内部通报，起到警示作用；
     
   • 影响考核：将考勤情况纳入年度考核，可能影响评优、晋升。
     

2. 若情节严重或造成不良影响
   若长期无故迟到、早退，或因不遵守时间导致工作延误、群众投诉等后果，可能构成《公务员法》第五十九条规定的“玩忽职守，贻误工作”或“违反工作纪律”，单位可依据《行政机关公务员处分条例》第二十八条，给予警告、记过、记大过、降级、撤职或开除处分。例如：

   • 连续旷工超过15天，或一年内累计旷工超过30天，可予以辞退；
     
   • 因迟到导致重大工作失误，可能被记过或降级。
     

3. 若涉及“吃空饷”等违法行为
   若公职人员长期不上班但领取工资（即“吃空饷”），则涉嫌违法。根据《刑法》第三百九十七条，国家机关工作人员滥用职权或玩忽职守，致使公共财产、国家和人民利益遭受重大损失的，可能构成“滥用职权罪”或“玩忽职守罪”，需承担刑事责任。

建议：

• 对单位：应完善考勤制度，明确违规处理流程，并定期公示考勤情况；
  
• 对公职人员：若因特殊原因（如疾病、家庭突发情况）需请假，应按程序报批，避免被认定为旷工；
  
• 对群众：若发现公职人员长期不遵守时间影响办事，可向单位纪检部门或上级主管部门投诉。
  

如有具体案例或细节需进一步分析，可直接向我提问。