通常情况下，即便物业存在不作为的情况，业主也不能直接拒交物业费。下面我从法律角度、实际操作角度以及特殊情况处理角度为您详细分析：

法律角度

从法律层面来看，业主与物业签订的物业服务合同具有法律效力。物业提供服务，业主支付物业费是基本的合同义务。物业服务合同具有相对性和公共性，物业按照约定提供基本服务，业主就应当依约缴费。如果业主因为觉得物业不作为就拒交物业费，这属于违约行为，物业有权通过法律途径追讨欠费及违约金。

实际操作角度

在实际操作中，如果物业存在不作为的情况，比如小区卫生差、安保不力等，业主应当先合法维权。具体来说，业主可以采取以下措施：

1. 收集证据：业主应当及时收集物业不作为的证据，如照片、视频、书面记录等，这些证据在后续维权过程中将起到关键作用。
2. 与物业沟通：业主可以通过书面函件等形式与物业进行沟通，要求其改正问题，履行合同义务。在沟通过程中，业主应当保持冷静和理性，明确表达自己的诉求和期望。
3. 向业主委员会反映：如果物业仍然不改正，业主可以向业主委员会反映情况，要求其督促物业整改。业主委员会有权监督物业的服务活动，并可以采取相应的措施来维护业主的权益。
4. 向相关部门投诉：业主还可以向当地房地产行政主管部门投诉，比如住建局的物业管理科。行政部门能对物业违规行为进行查处，并可以要求物业限期整改。

特殊情况处理

虽然一般情况下业主不能直接拒交物业费，但在某些特殊情况下，业主可能有权拒交或要求减免物业费。具体来说：

1. 物业严重违约：如果物业确实未履行合同约定的主要义务，比如对小区安全疏于管理、环境卫生长期不清理等，严重影响小区正常生活秩序和业主权益，且经业主多次催告后仍不改正的，业主可以收集相关证据，在诉讼中请求法院酌情减少物业费或暂不缴纳。但需要注意的是，这种情况需要法院认定，业主不能擅自长期拒交物业费。
2. 物业根本未履行主要服务义务：如果物业根本未履行主要服务义务，如小区安保形同虚设、卫生长期无人清理等严重影响业主正常生活的，业主可以通过合法程序，如召开业主大会、向相关部门反映等，在合理解决问题前，可暂不支付物业费，以维护自身合法权益。但同样需要注意的是，这种情况也需要经过法定程序和充分法律依据。

建议：面对物业不作为的情况，业主应当保持冷静和理性，通过合法途径来维护自己的权益。如果您在处理物业纠纷过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。