工厂使用别人雇佣的人是否违法，不能一概而论，需要分情况讨论：
如果工厂直接使用他人雇佣的劳动者，且未与该劳动者或原雇主达成任何协议，可能构成违法用工：
- 在这种情况下，工厂实际上是在未经许可的情况下使用了他人的劳动力，这可能侵犯了原雇主的权益，也可能违反了劳动法律法规中关于用工主体资格和劳动合同的规定。如果原雇主或劳动者因此遭受损失，工厂可能需要承担相应的法律责任。
如果工厂与原雇主达成协议，通过合法途径（如劳务派遣、业务外包等）使用他人雇佣的劳动者，则通常不构成违法：
- 劳务派遣是一种合法的用工方式，其中劳务派遣单位与劳动者签订劳动合同，并将劳动者派遣至用工单位工作。在这种情况下，工厂作为用工单位，与劳务派遣单位之间会签订劳务派遣协议，明确双方的权利和义务。只要协议合法有效，且工厂按照协议约定使用劳动者，就不构成违法。
- 业务外包也是另一种合法的方式，工厂可以将部分业务外包给其他单位或个人完成，这些单位或个人会雇佣自己的劳动者来完成业务。在这种情况下，工厂与外包单位或个人之间是业务合作关系，与外包单位或个人雇佣的劳动者之间不存在直接的劳动关系，因此也不构成违法用工。
法律建议：
- 对于工厂而言，如果需要使用他人雇佣的劳动者，应当确保与原雇主或劳务派遣单位等达成合法有效的协议，并明确双方的权利和义务。同时，工厂应当遵守劳动法律法规的规定，保障劳动者的合法权益。
- 对于劳动者而言，如果发现自己被工厂未经许可使用，或者自己的劳动权益受到侵害，应当及时向相关部门投诉或寻求法律援助。
可能法律后果：
- 如果工厂违法使用他人雇佣的劳动者，可能会面临劳动行政部门的处罚，如罚款、责令改正等。同时，如果因此给原雇主或劳动者造成损失，工厂还需要承担相应的赔偿责任。
总结与进一步思考：
工厂使用别人雇佣的人是否违法，关键在于是否遵守了劳动法律法规的规定以及是否与原雇主或劳务派遣单位等达成了合法有效的协议。在实际操作中，工厂应当谨慎处理用工关系，确保合法合规。如果您有具体的法律问题或需要进一步的法律建议，可以直接向我咨询，我会根据您的具体情况提供详细的解答。