没签物业合同不可以直接拒交违约金。这个问题需要从几个不同的角度来分析：

1. 事实合同关系：

   • 即使没有签订书面的物业服务合同，但如果实际上接受了物业服务，比如享受了小区的清洁、安保、维修等服务，那么根据《中华人民共和国民法典》的相关规定，可能构成事实上的物业服务合同关系。在这种情况下，如果违反了相关约定，比如提前解除这种事实上的服务关系，可能需要承担一定的违约责任，包括支付违约金。

2. 未接受服务的情况：

   • 如果既没有签订书面合同，也没有实际接受物业服务，比如新交房但业主从未入住，且物业也未提供任何服务，那么这种情况下不存在合同关系，也就不存在违约的情形，自然不需要交违约金。

3. 违约金的合法性：

   • 物业费违约金在合同中的约定，只要符合民事法律行为的有效要件，比如双方具有相应的民事行为能力，且约定的内容合理（如违约金的数额合理、违约情形明确），就是合法有效的，对合同双方具有约束力。但如果约定的违约金过高，业主可以请求法院或仲裁机构予以适当减少。

综上所述，是否需要交违约金，不能仅仅依据是否签订了书面合同来判断，而要综合考虑是否有事实上的服务关系、合同约定的内容是否合理等多种因素。如果你对物业费或违约金有任何疑问或争议，建议及时与我联系，我可以为你提供专业的法律分析和建议。