结论前置：若物业存在不作为的情况，业主或业主委员会可通过合法途径更换物业，但需遵循法定程序，不可擅自“赶走”物业。以下从不同角度详细分析：
一、物业不作为的认定
物业不作为通常指的是物业未能按照物业服务合同或相关法律法规的规定，履行其应尽的义务，如未及时维修公共设施、未保持小区环境卫生、未提供安全保障等。业主或业主委员会在认为物业存在不作为时，应首先收集相关证据，如照片、视频、书面投诉记录等，以证明物业确实存在未履行义务的情况。
二、更换物业的法定程序
召开业主大会：根据《物业管理条例》的相关规定，业主大会是小区物业管理的最高权力机构，有权决定小区的重大事项，包括更换物业。因此，业主或业主委员会应首先组织召开业主大会，就更换物业的事项进行讨论和表决。
表决通过：在业主大会上，需经专有部分占建筑物总面积过半数的业主且占总人数过半数的业主同意（即“双过半”原则），方可决定更换物业。这一步骤是确保更换物业的决定能够代表大多数业主的意愿。
选聘新物业：在决定更换物业后，业主大会应授权业主委员会或相关机构选聘新的物业服务企业。选聘过程中，应遵循公开、公平、公正的原则，确保新物业的服务质量和价格合理。
签订物业服务合同：选聘新物业后，业主委员会应与新物业签订物业服务合同，明确双方的权利和义务。同时，应通知原物业在合理期限内退出小区物业管理，并办理相关交接手续。
三、擅自“赶走”物业的法律后果
若业主或业主委员会未经法定程序擅自“赶走”物业，可能面临以下法律后果：
违约责任：若原物业与业主委员会签订的物业服务合同尚未到期，擅自解除合同可能构成违约，需承担违约责任，如支付违约金等。
侵权责任：若擅自“赶走”物业的行为导致物业遭受损失，如财产损失、名誉损害等，业主或业主委员会可能需承担侵权责任，赔偿物业因此遭受的损失。
行政处罚：若擅自“赶走”物业的行为违反了相关行政法规或规章的规定，如扰乱公共秩序、破坏公共设施等，业主或业主委员会可能面临行政处罚，如罚款、警告等。
四、建议与注意事项
保持冷静与理性：在处理物业纠纷时，业主或业主委员会应保持冷静与理性，避免采取过激行为或擅自行动。
依法维权：应依法通过业主大会、业主委员会等合法途径维护自身权益，避免违法违规行为。
加强沟通与协商：在更换物业的过程中，应加强与原物业的沟通与协商，确保交接工作的顺利进行。
关注新物业的服务质量：在选聘新物业时，应关注其服务质量、价格、信誉等方面的情况，确保新物业能够满足小区业主的需求。
若您在处理物业纠纷过程中遇到任何问题或需要进一步的法律帮助，请直接向我咨询。