结论：驾驶员开着您的车不回来，是否违法需视具体情况而定，可能涉及民事侵权、行政违法甚至刑事犯罪。以下从不同角度为您详细分析：
一、民事侵权角度
无权占有车辆：
- 如果驾驶员未经您同意，擅自将车辆开走并拒绝归还，这可能构成无权占有。根据《中华人民共和国民法典》的相关规定，无权占有不动产或者动产的，权利人可以请求返还原物。因此，您有权要求驾驶员归还车辆。
- 建议：您可以先尝试与驾驶员沟通，要求其归还车辆。如果沟通无果，您可以考虑通过法律途径，如向法院提起诉讼，要求驾驶员返还车辆并赔偿因无权占有给您造成的损失。
损害赔偿：
- 如果驾驶员在驾驶过程中因过错导致车辆损坏或发生交通事故，造成您财产损失的，您有权要求驾驶员承担赔偿责任。
- 建议：在要求赔偿时，您需要提供相关证据，如车辆维修发票、交通事故认定书等，以证明驾驶员的过错和您的损失。
二、行政违法角度
盗用车辆：
- 如果驾驶员以非法占有为目的，擅自将车辆开走并拒绝归还，且情节严重的，可能构成盗用车辆的行为，违反《中华人民共和国治安管理处罚法》的相关规定。
- 建议：在这种情况下，您可以向公安机关报案，由公安机关依法对驾驶员进行处罚。
交通违章：
- 如果驾驶员在驾驶过程中违反交通规则，如超速、闯红灯等，虽然这些行为本身不直接涉及您车辆的归属问题，但可能给您带来行政处罚的风险（如车辆被扣留、罚款等），如果驾驶员未处理这些违章，最终可能需要您来承担相关责任。
- 建议：您应及时查询车辆违章记录，并要求驾驶员处理其驾驶期间的违章行为。如果驾驶员拒绝处理，您可以考虑向相关部门说明情况，并提供证据证明违章行为与您无关。
三、刑事犯罪角度
盗窃罪：
- 如果驾驶员以非法占有为目的，秘密窃取您的车辆，且数额较大或者有其他严重情节的，可能构成盗窃罪，违反《中华人民共和国刑法》的相关规定。
- 建议：在这种情况下，您应立即向公安机关报案，由公安机关依法立案侦查，并追究驾驶员的刑事责任。
其他犯罪：
- 如果驾驶员在驾驶过程中实施了其他犯罪行为，如抢劫、故意伤害等，且这些行为与车辆的使用有关联的，您也可能作为被害人或相关方参与到刑事诉讼中。
- 建议：在这种情况下，您应积极配合公安机关的调查工作，并提供相关证据以支持案件的侦查和审理。
总结与进一步行动建议：
- 驾驶员开着您的车不回来，是否违法需根据具体情况判断。您应首先尝试与驾驶员沟通，要求其归还车辆并处理相关事宜。
- 如果沟通无果或驾驶员存在违法行为，您应及时向公安机关报案或考虑通过法律途径维护自己的合法权益。
- 在处理此类问题时，建议您保留好相关证据，如车辆行驶证、驾驶员信息、沟通记录等，以便在需要时提供证明。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。