不能因为物业放外人进小区乱搭建影响安全就不交物业费。下面我来详细解释一下这个问题：

首先，物业费是业主根据物业服务合同应支付给物业服务企业的费用，主要用于小区的日常维护和管理。而物业放外人进小区乱搭建，虽然确实可能影响到小区的安全和秩序，但这是物业管理中的一个具体问题，与物业费支付是两个不同的事项。

从法律角度来看，业主不能以物业存在管理问题为由拒绝支付物业费。因为物业服务合同是双方自愿签订的，业主有义务按照合同约定支付费用。如果物业确实存在管理不当的情况，业主可以通过合法途径向物业提出意见或建议，要求物业进行整改，甚至可以通过法律途径追究物业的责任。

但是，需要强调的是，业主在支付物业费的同时，也有权要求物业提供符合合同约定的服务。如果物业未能履行其管理职责，导致小区出现安全或秩序问题，业主可以向相关部门投诉，或者通过法律途径维护自己的合法权益。

因此，我建议你在支付物业费的同时，积极与物业沟通，反映小区乱搭建的问题，并要求物业采取有效措施进行整改。如果物业未能及时解决问题，你可以考虑通过法律途径来维护自己和小区业主的合法权益。