结论：楼下办厂楼上住人是否违法，需根据具体情况判断，主要涉及房屋用途规划、消防安全、环保要求及是否取得合法经营手续等因素。以下从不同角度详细分析：
一、房屋用途规划角度
住宅与商业用途区分：
- 若房屋规划用途为住宅，而楼下被用于办厂，这通常违反了房屋的原始规划用途。根据《中华人民共和国民法典》及相关物业管理规定，业主或使用人不得擅自改变房屋用途，尤其是将住宅改为商业或工业用途。
- 例外情况：如果当地政策允许“住改商”，并且已经按照相关规定办理了变更手续，如取得有利害关系业主的同意、办理工商登记等，那么楼下办厂可能不构成违法。但即便如此，也需确保不影响楼上住户的正常生活。
规划变更的合法性：
- 即使当地政策允许“住改商”，也需严格遵守变更程序，包括但不限于向相关部门申请、公示、取得必要许可等。未经合法程序变更用途的，仍可能面临法律处罚。
二、消防安全角度
消防安全要求：
- 工厂通常涉及生产、储存等环节，可能存在火灾、爆炸等安全隐患。根据《中华人民共和国消防法》，任何单位、个人不得损坏、挪用或者擅自拆除、停用消防设施、器材，不得埋压、圈占、遮挡消火栓或者占用防火间距，不得占用、堵塞、封闭疏散通道、安全出口、消防车通道。
- 如果楼下办厂导致楼上住户的消防安全受到威胁，如占用疏散通道、安全出口等，那么这种行为是违法的。
消防验收与监管：
- 工厂在投入使用前，需经过消防部门的验收，确保符合消防安全标准。如果未经验收或验收不合格而擅自投入使用，将面临法律处罚。
三、环保要求角度
环保法规遵守：
- 工厂在生产过程中可能产生噪音、废气、废水等污染物，对楼上住户的生活环境造成影响。根据《中华人民共和国环境保护法》及相关环保法规，工厂需采取有效措施防治污染，确保达标排放。
- 如果楼下办厂导致楼上住户受到环境污染的侵害，如噪音扰民、空气污染等，那么这种行为也是违法的。
环保审批与监管：
- 工厂在设立前，需向环保部门申请审批，取得环保许可后方可投入生产。如果未经审批或审批不合格而擅自生产，将面临法律处罚。
四、合法经营手续角度
工商登记与经营许可：
- 工厂作为经营主体，需向工商部门办理登记手续，取得营业执照。同时，根据行业特点，可能还需取得其他经营许可，如生产许可证、排污许可证等。
- 如果楼下办厂未取得合法经营手续，那么这种行为是违法的，可能面临工商部门的处罚。
税务登记与纳税：
- 工厂作为纳税人，还需向税务部门办理税务登记手续，并按照规定纳税。如果未办理税务登记或未按时纳税，将面临税务部门的处罚。
法律建议
- 核实房屋用途：首先确认房屋的规划用途是否为商业或工业用途，如果不是，需了解当地政策是否允许“住改商”及变更程序。
- 检查消防安全：确保楼下工厂的消防安全措施到位，不占用疏散通道、安全出口等，必要时可要求工厂提供消防验收合格证明。
- 关注环保问题：如果楼下工厂产生噪音、废气等污染物，可向环保部门投诉，要求工厂采取有效措施防治污染。
- 核实经营手续：要求楼下工厂出示营业执照、经营许可等合法手续，确保其合法经营。
若您遇到楼下办厂楼上住人的情况，且担心其合法性或已受到相关影响，可直接向我咨询，我将根据您的具体情况提供详细的法律建议。