不听辅警指挥直接开走，属于违法行为。在交通管理中，辅警作为警务辅助人员，其指挥交通的行为是在协助交警维持交通秩序，确保道路交通安全。因此，驾驶人有义务遵守辅警的指挥。

分析说明：

1. 法律地位与职责：辅警虽不具备独立执法权，但在交警的指导和监督下，可以协助进行交通管理。其指挥交通的行为，是交通管理活动的一部分，驾驶人应当服从。

2. 违法行为的后果：若驾驶人不听从辅警指挥，直接开走，可能会扰乱交通秩序，甚至引发交通事故。根据相关法律法规，这种行为将被视为交通违法行为，并可能面临相应的法律处罚，如罚款、记分等。

3. 实际执法中的考量：在实际执法中，交警部门会综合考虑辅警的指挥行为是否合法、合理，以及驾驶人的违法情节等因素，做出恰当的处理决定。但无论如何，驾驶人都有义务遵守交通管理人员的指挥，以确保道路交通安全。

法律建议：

• 驾驶人在行车过程中，应时刻保持警惕，注意观察交通管理人员的指挥，并严格遵守其指示。
• 若对辅警的指挥存在疑问或不满，应通过合法途径提出，如向交警部门反映或投诉，而不是直接无视指挥，擅自行动。
• 若因不听从辅警指挥而面临法律处罚，驾驶人应积极配合处理，并吸取教训，以免再次发生类似违法行为。

综上所述，不听辅警指挥直接开走是违法的，驾驶人应严格遵守交通管理人员的指挥，以确保道路交通安全和畅通。