不交物业费确实算是损害业主利益。具体来说：

1. 损害其他交费业主的利益：当部分业主不交物业费时，物业管理企业在各项服务预算中会显得捉襟见肘，可能不得不降低服务标准，甚至取消某些服务。这样一来，那些按时交费的业主也会因为其他人的欠费行为而遭受服务质量下降的损失。

2. 损害全体业主的利益：物业费的收取是为了维持小区的正常运转和提供必要的服务。如果物业费收取不足，物业公司可能无法维持正常的运营，甚至可能选择退出小区。这将导致小区的管理陷入混乱，如垃圾遍地、秩序大乱、脏乱差严重，甚至可能出现暖气停供、电梯停运等情况。这些后果将直接影响到全体业主的居住环境和生活质量。

3. 法律依据：从法律角度来看，不交物业费的行为也违反了相关的法律法规和合同约定。业主与物业公司之间签订了物业服务合同，按照合同约定，业主有义务按时交纳物业费。如果业主不履行这一义务，就构成了违约行为，需要承担相应的法律责任。

综上所述，不交物业费不仅损害了其他交费业主的利益，也损害了全体业主的利益。因此，建议业主们按时交纳物业费，以确保小区的正常运转和提供优质的服务。如果确实存在困难或争议，应及时与物业公司沟通解决，而不是选择欠费这种损害他人利益的方式。