司机开始不归还手机，后来归还的行为是否违法，需根据具体情况分析：

1. 若手机属于乘客遗忘物，司机有归还义务

   • 法律背景：根据《中华人民共和国民法典》的相关规定，拾得遗失物，应当返还权利人。拾得人应当及时通知权利人领取，或者送交公安等有关部门。在此情况下，司机作为拾得人，有义务将手机归还给乘客或交至相关部门。
   • 行为分析：如果司机开始时不归还手机，但后来改变了主意并归还，这一行为本身不直接构成违法，但司机在初始阶段的不归还行为可能违反了上述民法规定中的义务。若因司机的不归还行为导致乘客遭受了损失（如因无法及时联系而错过重要事务），乘客有权要求司机承担相应的赔偿责任。

2. 若手机被司机非法占有，则构成违法行为

   • 法律背景：如果司机明知手机不属于自己，却故意不归还，甚至试图通过出售、藏匿等方式非法占有，这一行为可能构成侵占罪或盗窃罪（取决于手机的价值和司机的具体行为）。根据《中华人民共和国刑法》的相关规定，侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为；盗窃罪则是指以非法占有为目的，秘密窃取数额较大的公私财物或者多次秘密窃取公私财物的行为。
   • 行为分析：在这种情况下，即使司机后来归还了手机，也不能免除其之前的违法行为。乘客有权向公安机关报案，要求追究司机的刑事责任，并可以要求司机赔偿因此造成的损失。

3. 建议与后果

   • 对于乘客：如果遇到司机不归还手机的情况，应首先尝试与司机沟通，要求其归还。如果沟通无果，可以向公安机关报案，并提供相关证据（如乘车记录、手机定位信息等）。
   • 对于司机：应认识到不归还乘客遗忘物的行为可能带来的法律后果，包括民事赔偿和刑事责任。建议司机在遇到此类情况时，及时与乘客沟通并归还手机，以避免不必要的法律纠纷。

总结：司机开始不归还手机，后来归还的行为是否违法，取决于手机是否属于乘客遗忘物以及司机的具体行为。若手机属于乘客遗忘物且司机有非法占有的意图或行为，则可能构成违法。乘客在遇到此类情况时，应依法维护自己的权益。如有任何法律疑问或需要进一步的法律帮助，可以直接向我咨询。