结论：你把对方车开走的行为，在大多数情况下是违法的，可能涉嫌侵占他人财物或盗窃罪，具体取决于车辆的价值和情节严重程度。
分析说明：
侵占他人财物：
- 根据《中华人民共和国民法典》的相关规定，侵占他人财物是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。虽然你的情况可能不完全符合“交给自己保管”或“遗忘物、埋藏物”的定义，但非法占有他人车辆的行为，在性质上与侵占有相似之处，且可能因情节严重而构成犯罪。
- 在实际操作中，即使对方不给你手机，你也没有权利擅自开走对方的车。这种行为侵犯了对方的财产权，对方有权要求你返还车辆，并可能因此向你提起民事诉讼，要求赔偿损失。
盗窃罪：
- 如果车辆的价值较高，或者你的行为情节严重（如使用暴力、威胁手段开走车辆，或者开走车辆后进行非法活动等），那么你的行为可能构成盗窃罪。
- 盗窃罪是指以非法占有为目的，盗窃公私财物数额较大或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃公私财物的行为。在这种情况下，你将面临刑事处罚，包括有期徒刑、拘役或者管制，并可能处以罚金。
法律建议：
- 立即返还车辆：如果你已经开走了对方的车，我建议你立即返还车辆，并向对方道歉，以尽量减轻可能的法律后果。
- 协商解决：尝试与对方进行协商，看是否能够通过和平的方式解决纠纷，比如对方归还手机，你归还车辆，或者双方达成其他补偿协议。
- 寻求法律帮助：如果协商无果，或者对方拒绝归还手机且你面临法律纠纷，我建议你寻求专业的法律帮助，比如咨询律师或者向公安机关报案。
后续行动指南：
- 保留证据：在处理此类纠纷时，保留所有相关的证据，如聊天记录、通话记录、视频监控等，以便在需要时证明自己的清白或主张自己的权益。
- 避免冲突：在处理纠纷时，尽量避免与对方发生冲突或暴力行为，以免加重法律后果。
特殊场景提醒：
- 如果对方的行为已经构成了对你的侵权（如非法扣留你的手机），你应该通过合法的途径来维护自己的权益，比如向公安机关报案或者提起民事诉讼，而不是采取非法手段进行报复或对抗。
如果你有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。