小区大门随便进一般不可以直接要求退物业费。下面我来详细解释一下这个结论：

首先，我们需要明确物业费的主要构成和用途。物业费通常包括小区公共设施的日常维护、保洁、安保、绿化等多个方面的费用。这些费用是为了保障小区居民的生活环境和生活质量而收取的。

接下来，我们分析小区大门随便进这一情况。如果小区大门的管理确实存在疏漏，比如随意进出、无人值守等，这确实可能影响到小区的安全和居民的生活质量。然而，这种情况并不直接等同于物业公司没有履行其应尽的职责，也不意味着物业公司没有提供其他方面的服务。

因此，仅仅因为小区大门随便进，并不能直接作为要求退物业费的理由。如果你对物业公司的服务有不满，可以先尝试与物业公司进行沟通，提出你的意见和建议，要求其改进服务。如果物业公司确实存在违约行为，比如未按照合同约定提供服务等，你可以根据相关法律法规和合同条款，向物业公司提出索赔或者要求减免部分物业费。

总之，要求退物业费需要基于合理的理由和充分的证据。如果你对物业费有任何疑问或者不满，建议先与物业公司进行协商，寻求妥善的解决方案。如果协商无果，你可以考虑通过法律途径来维护自己的权益。