结论：楼下违建而物业未阻止，这并不直接构成您不交物业费的合法理由。但您可以根据具体情况，通过合法途径维护自身权益，并可能因此与物业协商减免部分物业费。
分析说明：
物业费缴纳的义务：
- 根据《物业管理条例》及相关法律法规，业主有按时缴纳物业费的义务。物业费是用于维护小区公共设施、环境卫生、安全保卫等服务的费用，是业主享受物业服务的前提。
- 楼下违建属于个别业主的违法行为，并不直接免除您作为小区业主缴纳物业费的义务。
物业的责任与义务：
- 物业有责任对小区内的违法建设行为进行制止和报告。如果物业未能履行这一职责，可能构成违约或失职。
- 但物业的失职并不直接导致您无需缴纳物业费。您可以通过合法途径（如向相关部门投诉、提起诉讼等）要求物业承担相应责任，但这并不与缴纳物业费相冲突。
可能的解决方案：
- 与物业协商：您可以与物业沟通，说明楼下违建对您造成的影响，并要求物业采取措施制止。如果物业表示将积极处理，您可以考虑在物业采取有效措施前，与物业协商减免部分物业费作为补偿。
- 向相关部门投诉：如果物业未能履行其职责，您可以向当地的城市管理、规划等部门投诉楼下违建行为，要求相关部门进行查处。
- 提起诉讼：如果楼下违建行为严重影响了您的居住环境或造成了其他损失，您还可以考虑向法院提起诉讼，要求违建业主承担侵权责任，并可能因此要求物业承担一定的连带责任（如果物业存在明显失职）。
不交物业费的法律后果：
- 如果您未经合法程序擅自不交物业费，物业有权通过法律途径追讨欠费，并可能要求您支付滞纳金或违约金。
- 长期不交物业费还可能影响您的个人信用记录，甚至可能面临被物业起诉至法院的风险。
行动建议：
- 保留证据：收集楼下违建的相关证据（如照片、视频等），以及您因此受到的影响（如噪音、安全隐患等）。
- 与物业沟通：首先尝试与物业进行友好沟通，说明情况并要求物业采取措施。
- 寻求法律帮助：如果物业未能解决问题或您与物业无法达成一致，建议咨询专业律师（即向我咨询），了解您的法律权益和可能的解决方案。
特殊场景：
- 如果楼下违建行为极其严重，且物业长期未能采取有效措施制止，导致您的居住环境受到严重影响，您可以考虑在提起诉讼时，同时要求法院判决减免部分或全部物业费。但这种情况需要具体分析，且需要充分的证据支持。
总之，楼下违建并不直接构成您不交物业费的合法理由。您应通过合法途径维护自身权益，并与物业协商解决方案。如有需要，请随时向我咨询相关法律问题。