司机直接把行李拖走是否违法，需根据具体情况来判断。以下是从不同角度进行的分析：

1. 若您不在场，且行李由您保管或遗失：

   • 若司机拒绝归还行李，且行李价值达到一定标准，司机可能涉嫌构成侵占罪。侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。
   • 若司机是偷偷将行李带走，未经过您的同意或知晓，则可能构成盗窃罪。盗窃罪是指以非法占有为目的，秘密窃取公私财物数额较大或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃公私财物的行为。

2. 若您在场，但司机以虚假理由骗取行李：

   • 若司机以行李超重无法通过收费站、会面临高额罚款等虚假理由欺瞒您，使您误以为必须将行李交予他，最终导致行李丢失，那么这种行为便构成了诈骗罪。诈骗罪是指以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。

3. 若您在场，且司机无欺诈行为或您未轻信：

   • 若司机未经许可直接拖走行李，无任何欺诈行为，或者虽然有欺诈但您并未轻信，那么这便是典型的抢夺罪行为（若情节严重，如使用暴力或威胁手段，则可能构成抢劫罪）。抢夺罪是指乘人不备，公开夺取数额较大的公私财物的行为。

法律建议：

• 在发现行李被司机拖走后，首先尝试与司机协商解决，看是否能够和平取回行李。
• 若协商无果，且怀疑司机行为涉嫌犯罪，请立即向警方报案，并提供相关证据，如监控录像、证人证言等，以便警方进行调查。

可能的法律后果：

• 根据案件情节及行李实际价值，司机可能面临不同程度的刑事处罚，包括有期徒刑、拘役、管制、罚金或没收财产等。

在处理此类事件时，请务必保持冷静，及时收集并保存相关证据，以便在需要时维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。