不能仅因物业非法进入小区且没有物业服务合同就拒交物业费。下面我来详细解释一下这个问题：

首先，我们要明确的是，物业服务合同的存在与否并不是决定物业费是否应缴纳的唯一因素。即使没有签订书面的物业服务合同，但如果物业公司实际上为小区提供了物业服务，并且业主也享受了这些服务，那么双方之间就形成了事实上的物业服务合同关系。

在这种情况下，业主应当按照相关法律法规的规定，以及物业服务行业的一般标准，向物业公司支付物业费。这是因为，物业服务具有公众性，其服务品质的提升关系到全体小区业主的切身利益。物业公司为业主提供服务，业主享受服务的同时，也应当承担支付物业费的义务。

当然，如果物业公司提供的服务存在瑕疵，或者存在其他违约行为，业主可以依法维护自己的权益。例如，可以向物业公司提出整改要求，或者通过法律途径追究物业公司的责任。但是，这并不能成为拒交物业费的正当理由。

因此，我建议你先与物业公司进行沟通，了解他们提供服务的具体情况，并表达你的意见和诉求。如果确实存在服务不到位或其他问题，你可以要求物业公司进行整改，或者通过法律途径解决纠纷。但是，在未经法律程序确认物业公司存在严重违约行为之前，你仍然应当按照相关规定支付物业费。

总之，物业费的缴纳是基于物业服务合同关系或事实服务关系而产生的法律义务，不能仅凭个人意愿或某些表面现象就拒绝缴纳。如果有任何疑问或纠纷，建议通过法律途径寻求解决方案。