业主不能仅凭物业不负责就随意拒交物业费，但在特定情况下可以依法要求减免或调整物业费。以下是对这一问题的详细分析：
一、物业费交纳的基本原则
根据《中华人民共和国民法典》和《物业管理条例》的相关规定，业主应当按照物业服务合同的约定按时交纳物业服务费用。这是业主的一项基本法律义务，旨在维护小区整体的物业服务质量和全体业主的共同利益。物业费是基于物业服务合同产生的法定义务，与物业的管理责任虽相关但不可混为一谈。
二、物业不负责时的合法处理方式
沟通协商：
- 业主首先应与物业公司进行沟通协商，明确指出服务不足并要求其改正或采取补救措施。这是解决物业纠纷的首要步骤，有助于双方建立理解和信任。
收集证据：
- 若协商无果，业主应积极收集相关证据，如照片、视频、书面记录等，以证明物业公司的违约行为或服务不达标情况。这些证据在后续维权过程中将起到关键作用。
通过业委会交涉：
- 业主可以通过业主委员会这一平台，与物业公司进行正式交涉，要求减免相应物业费或对服务进行整改。业主委员会作为业主的代表，具有监督物业服务的职责和权力。
投诉或诉讼：
- 若上述方式均无法解决问题，业主可以向相关主管部门（如住建局、房管局等）投诉，请求其对物业进行监管和处理。作为最终手段，业主也可向人民法院提起诉讼，要求物业公司承担相应的法律责任，并可根据具体情况主张减免物业费。
三、可以拒交或少交物业费的合法情形
物业存在严重违约行为：
- 当物业存在长期不履行管理责任、严重损害业主利益等根本违约行为时，业主有权通过法律途径要求减免物业费。但需注意，这一行为应基于充分的证据和合理的法律依据，且通常需要先通过协商、投诉等途径尝试解决问题。
物业未履行安全保障义务：
- 若物业在安全管理方面存在明显疏漏，如门禁系统损坏未维修、安保人员擅自离岗等，导致小区安全受到威胁或业主遭受损失，业主有权要求物业承担相应责任，并可考虑部分拒付物业费以促使物业重视并履行其安全保障义务。但同样需要确保有充分的证据支持。
物业费超出合同约定或未经同意的服务：
- 若物业公司要求缴纳的服务费用不在业主缴纳范围之内（如供热、中央空调等动力设备产生的能源费用，且这些费用未在合同中明确约定），或物业公司提供合同内未约定或未经业主同意的额外服务，业主有权拒绝支付相关费用。
四、拒交物业费的法律后果与风险
- 催告与起诉：若业主无正当理由拒交物业费，物业服务企业有权催告其在合理期限内支付；逾期仍不支付的，物业服务企业可以向人民法院提起诉讼。
- 违约责任：业主逾期不支付物业费，可能面临承担违约责任的风险，包括支付滞纳金、赔偿损失等。
- 不利后果：若业主在诉讼中败诉，还需承担诉讼费用及其他可能的不利后果，如影响个人信用记录等。
五、总结与建议
面对物业不负责的情况，业主应理性对待，通过合法途径维护自身权益。在维权过程中，保留好相关证据至关重要。同时，业主也应了解并遵守物业费交纳的基本原则与规定，以避免不必要的法律纠纷和风险。如果业主对物业费交纳或物业纠纷处理有任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据具体情况提供专业的法律意见和解决方案。