工厂租给别人违法时的责任归属问题，需根据具体情况来判断，一般而言，可能涉及出租方、承租方以及相关管理部门的责任。以下从不同角度进行分析：

1. 出租方责任：

   • 合法性审查：出租方在出租工厂前，应确保工厂的产权清晰，且出租行为符合相关法律法规的规定。若出租方未尽到审查义务，将存在产权纠纷或违法建筑的工厂出租，可能需承担相应的法律责任，如赔偿承租方因此遭受的损失。
   • 合同条款：出租方与承租方签订的租赁合同中，应明确双方的权利和义务。若合同中存在违法条款，如约定承租方进行非法活动等，出租方可能因合同违法而承担一定的法律责任。
   • 监管责任：在租赁期间，出租方有义务对承租方的使用情况进行一定的监管。若出租方发现承租方利用工厂进行违法活动而未及时制止或报告相关部门，可能需承担一定的连带责任。

2. 承租方责任：

   • 合法使用：承租方在租赁工厂后，应合法使用工厂，不得进行违法活动。若承租方利用工厂进行非法生产、储存危险物品等违法活动，将直接承担法律责任，包括但不限于行政处罚、刑事责任等。
   • 合同履行：承租方应按照租赁合同的约定履行义务，如按时支付租金、妥善保管工厂设施等。若承租方违反合同约定，出租方有权要求其承担违约责任。

3. 管理部门责任：

   • 监管不力：若相关管理部门在工厂出租和使用过程中存在监管不力的情况，如未及时发现和处理违法活动，可能需承担一定的行政责任。但这通常是在管理部门存在明显过错或失职的情况下才会发生。

法律建议：

• 对于出租方而言，在出租工厂前应进行充分的合法性审查，确保工厂产权清晰且出租行为合法；在租赁期间应加强对承租方的监管，及时发现并制止违法活动。
• 对于承租方而言，应合法使用工厂，不得进行违法活动；同时应按照租赁合同的约定履行义务，避免违约行为的发生。
• 若双方在租赁过程中发生纠纷或发现违法活动，应及时向相关部门报告并寻求法律帮助。

可能后果：

• 若出租方或承租方存在违法行为，可能面临行政处罚、刑事责任等法律后果。
• 若因违法行为导致他人损害的，还需承担民事赔偿责任。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。