结论：司机半夜不让走是否违法，需根据具体情况判断，主要涉及是否存在非法拘禁或限制人身自由的行为。以下从不同角度进行分析：

1. 若司机与乘客之间存在雇佣或运输合同关系：

   • 合同约定：首先需查看双方之间的合同或协议中是否有关于工作时间、地点、方式等的具体约定。如果合同中明确规定了司机的工作时间或任务完成后的自由安排，而司机违反约定不让乘客走，则可能构成违约。但违约行为主要涉及民事责任，如赔偿损失等，并不直接等同于违法。
   • 合理限制：在某些特殊情况下，如乘客醉酒、行为失控等，司机出于安全考虑暂时限制乘客离开，可能被视为合理限制，不构成违法。但这种限制必须是必要的、适度的，并且一旦情况好转应立即解除限制。

2. 若司机非法拘禁或限制乘客人身自由：

   • 非法拘禁定义：根据《中华人民共和国刑法》的相关规定，非法拘禁他人或者以其他方法非法剥夺他人人身自由的，构成非法拘禁罪。如果司机在没有任何合法依据的情况下，强行限制乘客离开，且时间较长或情节严重，就可能触犯非法拘禁罪。
   • 限制人身自由：即使不构成非法拘禁罪，如果司机通过威胁、恐吓等手段限制乘客离开，也违反了《中华人民共和国治安管理处罚法》中关于限制他人人身自由的规定，可能面临行政处罚。

3. 特殊情况下的考虑：

   • 紧急情况：在紧急情况下，如乘客突发疾病、遭遇危险等，司机出于救助目的暂时限制乘客离开，通常不构成违法。但司机应尽快联系相关部门或人员寻求帮助，并在情况允许后立即解除限制。
   • 乘客自愿：如果乘客出于某种原因自愿留在司机处，且没有受到任何威胁或强迫，那么司机不让乘客走就不构成违法。但司机应确保乘客的安全和舒适，并在乘客要求离开时及时放行。

法律建议：

• 如果您作为乘客遇到司机半夜不让走的情况，首先应保持冷静，尝试与司机沟通了解原因。
• 如果司机无正当理由且态度强硬，您可以考虑联系亲友或报警寻求帮助。
• 在确保自身安全的前提下，您可以收集相关证据（如录音、录像、证人证言等），以便后续维权。

可能后果：

• 如果司机行为构成非法拘禁或限制人身自由，将可能面临刑事处罚或行政处罚。
• 如果司机行为构成违约，您有权要求其承担违约责任并赔偿损失。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。