行政单位值班人员不在岗，应依据具体情节和单位规章制度，结合《中华人民共和国公务员法》《行政机关公务员处分条例》等相关法律法规进行处理。具体处理方式需分情况讨论：

1. 情节较轻且未造成严重后果的
   若值班人员因临时紧急事务（如突发疾病、家庭突发状况等）短暂离岗，但已采取补救措施（如委托同事代班、及时返回岗位），且未导致单位管理秩序混乱或公共利益受损，通常可依据单位内部考勤制度进行批评教育或书面检讨。例如，单位可要求其提交情况说明，并在内部会议上通报，以起到警示作用。

2. 情节严重或造成不良后果的
   若值班人员无故擅自离岗、长时间脱岗，或因离岗导致单位无法及时处理紧急事务（如群众投诉、安全事故等），则可能构成违纪行为。根据《行政机关公务员处分条例》第十九条，公务员“旷工或者因公外出、请假期满无正当理由逾期不归，造成不良影响的”，可给予警告、记过、记大过或降级处分；情节严重的，甚至可开除公职。例如，某行政单位值班人员擅自离岗导致群众上访事件未及时处理，引发社会舆论关注，单位可依据规定对其作出严肃处分。

3. 涉及法律责任的特殊情形
   若值班人员离岗行为直接导致公共财产、国家和人民利益遭受重大损失（如未及时处置火灾、疫情等突发事件），还可能涉嫌《中华人民共和国刑法》中的“玩忽职守罪”。根据《刑法》第三百九十七条，国家机关工作人员滥用职权或玩忽职守，致使公共财产、国家和人民利益遭受重大损失的，处三年以下有期徒刑或者拘役；情节特别严重的，处三年以上七年以下有期徒刑。此时，案件将移送司法机关处理，单位需配合调查并提供相关证据。

建议行动：

• 对值班人员：严格遵守单位值班制度，确需离岗时需提前报备并安排代班人员；
  
• 对单位：完善值班管理制度，明确离岗审批流程和责任追究机制，定期开展纪律教育；
  
• 对公众：若发现行政单位值班人员离岗影响办事效率，可向单位纪检部门或上级主管部门投诉，维护自身合法权益。
  

如有进一步疑问或需具体案例分析，可直接向我咨询。