业主不可以直接赶走施工人员，而应当通过合法途径解决违规装修问题。

1. 法律依据：

   • 根据《物业管理条例》等相关法律法规，业主和物业管理公司有权对违规装修行为进行管理和制止，但必须通过合法手段进行，不能直接采取暴力或非法手段赶走施工人员。
   • 若业主直接赶走施工人员，可能构成侵权行为，需承担相应的法律责任。

2. 处理建议：

   • 首先沟通：业主发现违规装修行为时，应首先与施工人员或装修负责人进行沟通，要求其停止违规装修行为，并恢复原状。
   • 向物业管理公司反映：若沟通无果，业主应及时向物业管理公司反映情况，要求物业管理公司采取措施制止违规装修行为。
   • 向相关部门举报：若物业管理公司未能有效制止，业主可向相关部门（如城管部门、住建部门等）进行举报，要求其对违规装修行为进行查处。
   • 法律途径解决：若上述途径均无法解决问题，业主可通过法律途径解决，如向法院提起诉讼，要求施工人员或装修方承担相应的法律责任。

3. 注意事项：

   • 业主在采取任何行动前，应确保自己的行为合法合规，避免采取过激或非法手段。
   • 业主应保留好相关证据，如照片、视频等，以便在后续处理中作为依据。
   • 若涉及法律诉讼，建议业主咨询专业律师，以确保自己的权益得到充分保障。

综上所述，业主在发现违规装修行为时，应通过合法途径解决问题，而不是直接赶走施工人员。若您在此过程中遇到任何法律问题或需要进一步的法律建议，可随时向我咨询，我专注于建设工程、经济纠纷等领域的法律咨询。