结论：楼下违建影响视线而物业不管，您不能直接以此为由拒绝交物业费。以下从不同角度为您详细分析：
法律角度
物业费缴纳义务：
- 根据《物业管理条例》等相关法律法规，业主有按时缴纳物业费的义务。物业费是用于维护小区公共设施、环境卫生、安全保卫等方面的费用，与个别业主的私人利益（如视线受阻）无直接关联。
- 若您因楼下违建影响视线而拒绝交物业费，可能构成违约行为，物业有权通过法律途径追讨欠费，并可能要求您支付滞纳金或违约金。
违建处理责任：
- 楼下违建属于违反城市规划、建设管理等相关法律法规的行为，其处理责任在于城市规划、建设管理等行政部门，而非物业公司。
- 物业公司虽有一定的管理职责，但无权直接拆除违建或强制要求违建业主整改。物业公司可以协助业主向相关部门投诉或举报违建行为。
实际操作角度
与物业沟通：
- 您应首先与物业公司沟通，说明楼下违建对您造成的影响，并要求物业公司协助向相关部门投诉或举报违建行为。
- 若物业公司未积极履行协助义务，您可以向业主委员会反映情况，由业主委员会出面协调或采取进一步措施。
向相关部门投诉：
- 您可以直接向城市规划、建设管理等行政部门投诉楼下违建行为，要求相关部门进行查处。
- 在投诉时，您应提供违建的具体位置、照片、视频等证据材料，以便相关部门进行核实和处理。
法律途径：
- 若违建行为严重影响了您的正常生活或造成了其他损失，您可以考虑通过法律途径维护自己的合法权益。
- 例如，您可以向法院提起相邻权纠纷诉讼，要求违建业主停止侵害、排除妨碍或赔偿损失等。
风险提示
- 拒绝交物业费的后果：如前所述，拒绝交物业费可能构成违约行为，导致物业追讨欠费、支付滞纳金或违约金等后果。此外，长期拒交物业费还可能影响您的个人信用记录。
- 违建处理的复杂性：违建处理涉及多个行政部门和法律法规，处理过程可能较为复杂和漫长。您需要保持耐心和理性，积极配合相关部门的调查和处理工作。
建议：您应继续履行缴纳物业费的义务，同时积极与物业公司沟通并协助向相关部门投诉楼下违建行为。若违建行为严重影响了您的正常生活或造成了其他损失，您可以考虑通过法律途径维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。