结论：不可以仅因小区健身器材扰民且与物业协商无效就不交物业费。
分析如下：
物业费缴纳的义务：
- 根据《物业管理条例》及相关法律规定，业主有义务按照物业服务合同的约定缴纳物业费。物业费是用于维护小区公共设施、提供物业服务的重要资金来源。
物业公司的职责：
- 物业公司作为小区的管理者，有责任对小区内的公共设施，包括健身器材，进行日常维护和管理，确保其安全、正常使用。
- 若健身器材扰民，物业公司应采取合理措施进行制止或调整，如设置使用时间限制、增加隔音设施等，以减少对业主生活的影响。
协商无效的处理方式：
- 若与物业公司协商无效，业主可以通过合法途径维护自身权益，如向相关部门投诉、提起诉讼等，而不是直接拒绝缴纳物业费。
- 拒绝缴纳物业费可能构成违约行为，物业公司有权依据物业服务合同追究业主的违约责任，甚至可能通过法律途径要求业主补缴物业费及滞纳金。
特殊情况下的处理：
- 如果物业公司确实存在严重不作为或违约行为，如长期未对扰民的健身器材进行任何处理，导致业主生活受到严重影响，业主可以在收集充分证据后，通过法律途径要求物业公司承担相应责任，并可能在一定程度上减免物业费。但这需要经过法律程序的认定，不能单方面决定不交物业费。
法律建议：
- 与物业公司再次协商：尝试与物业公司进行更深入的沟通，明确表达健身器材扰民对生活的影响，要求物业公司采取有效措施解决问题。
- 向相关部门投诉：若协商无果，可以向当地房管部门、社区居委会等相关部门投诉，寻求帮助和支持。
- 考虑法律途径：在必要时，可以咨询专业律师，了解自身权益和可能的法律途径，如提起诉讼或申请仲裁等。
可能后果：
- 若业主单方面拒绝缴纳物业费，可能面临物业公司的催缴通知、滞纳金甚至法律诉讼等后果。
- 若通过法律途径解决问题，业主需准备充分证据，以证明物业公司存在不作为或违约行为，以及该行为对自身生活造成的实际影响。
总之，面对小区健身器材扰民的问题，业主应通过合法途径维护自身权益，而不是直接拒绝缴纳物业费。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。