乘客可采取以下措施应对此类情况：

1. 立即与司机沟通，要求其履行职责
   根据《道路运输从业人员管理规定》第四十五条，驾驶员在运输过程中不得擅自离岗或从事与驾驶无关的活动。乘客可明确要求司机立即返回驾驶位继续行程，并提醒其违反规定的法律后果（如行政处罚、吊销从业资格等）。若司机拒绝，需保留沟通证据（如录音、录像）。

2. 联系运输企业或平台，启动应急机制
   若车辆属于正规运输公司或网络预约平台，乘客应立即拨打企业客服电话（通常张贴在车内显眼位置），要求企业调派备用司机或安排其他车辆转运。根据《道路旅客运输及客运站管理规定》第三十八条，运输企业需对突发情况制定应急预案，乘客有权要求其履行安全保障义务。

3. 向交通执法部门举报违法行为
   若司机存在严重失职（如长时间离岗、醉酒等），乘客可拨打12328交通运输服务监督电话举报。根据《道路运输条例》第七十条，驾驶员违反操作规程可处200-2000元罚款；若因离岗导致事故，企业需承担连带赔偿责任。

4. 保留证据并主张民事赔偿
   乘客需拍摄/录制现场情况（包括时间、地点、司机状态等），保存车票、支付记录等凭证。若因司机离岗导致延误或额外支出（如改乘其他交通工具的费用），可依据《民法典》第八百二十三条向运输企业主张违约赔偿；若造成人身损害，可同时主张侵权赔偿。

特别提醒：

• 若司机离岗期间车辆处于行驶状态，乘客应立即通过紧急制动装置停车（仅限极端危急情况），并第一时间报警（110/122）。
  
• 避免与司机发生肢体冲突，防止被反诉“干扰驾驶”（可能触犯《刑法》第一百三十三条之二危险作业罪）。
  

建议优先通过企业客服和交通执法部门解决问题，若协商无果可向当地运管部门申请调解或直接向法院起诉。