核心前提：乘客与运输服务提供方（如出租车、网约车司机或客运公司）之间存在运输合同关系，乘客未按约定时间上车，运输方希望追究其违约责任。

结论与详细分析：

1. 合同条款的审查
   首先需明确双方是否在合同中明确约定了“乘客迟到违约金”条款。根据《民法典》第496条，格式条款（如网约车平台用户协议）中若未以显著方式提示乘客注意违约金条款，该条款可能被认定为无效。若为双方协商一致的非格式条款（如包车合同），则需进一步审查条款是否合理：

   • 合理性标准：违约金金额不得超过运输方实际损失的30%（参考《民法典》第585条）。例如，若司机因乘客迟到导致下一单取消，实际损失为空驶费用，违约金应以此为基准计算。
     
   • 举证责任：运输方需提供证据证明损失（如订单记录、空驶里程证明等），否则法院可能不支持违约金主张。

2. 无合同条款时的处理
   若合同未约定违约金，运输方可依据《民法典》第577条主张“实际损失赔偿”，但需满足以下条件：

   • 因果关系：乘客迟到与运输方损失之间需存在直接因果关系。例如，司机因等待乘客错过高峰期订单，导致收入减少，可主张赔偿。
     
   • 减损义务：运输方需证明已采取合理措施减少损失（如联系乘客确认时间、及时接下一单等），否则可能被认定对损失扩大存在过错。

3. 特殊场景的注意事项

   • 网约车平台：多数平台用户协议将违约金转化为“扣减信用分”或“限制叫车权限”等非金钱处罚，直接主张现金赔偿需以平台规则为依据。
     
   • 客运班车/火车：根据《民法典》第820条，乘客迟到导致错过班次的，运输方通常不承担退票责任，但若因运输方原因（如晚点）导致乘客错过转乘，则需赔偿。

行动建议：

• 若您是运输方，建议：
  
  1. 保留合同、订单记录、沟通记录等证据；
     
  2. 计算实际损失（如空驶费用、下一单收入损失等）；
     
  3. 优先与乘客协商，协商不成可向法院起诉（标的额较小可适用小额诉讼程序）。
     
• 若您是乘客，建议：
  
  1. 提前与运输方沟通迟到原因，争取免责；
     
  2. 审查合同条款，避免不合理违约金；
     
  3. 若被过度索赔，可要求运输方提供损失证明或向消费者协会投诉。

如有具体合同或损失证据，可进一步向我提供细节，我会为您分析主张违约金的可行性及金额范围。