工厂外借工人是否违法，不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
合法外借工人的情形：
- 劳务派遣：如果工厂与劳务派遣公司签订劳务派遣协议，由劳务派遣公司派遣工人到工厂工作，且符合《中华人民共和国劳动合同法》中关于劳务派遣的相关规定（如派遣岗位符合临时性、辅助性或替代性要求，派遣用工比例未超过法定限制等），则这种外借行为是合法的。
- 业务外包：工厂将部分业务外包给其他公司或个人，由外包方自行组织工人完成工作。这种情况下，工人与外包方建立劳动关系，与工厂无直接劳动关系，工厂的外借行为（实际上是业务外包）也是合法的。
可能违法的外借工人情形：
- 非法劳务派遣：如果工厂未经劳务派遣公司，直接与其他单位或个人签订协议，将工人“外借”给这些单位或个人使用，且不符合劳务派遣的法定条件，这种行为可能被视为非法劳务派遣，违反了《中华人民共和国劳动合同法》中关于劳务派遣的规定。
- 逃避劳动法义务：工厂为了逃避对工人的劳动法义务（如支付社会保险、提供劳动保护等），将工人“外借”给其他单位或个人，而工人实际上仍在为工厂工作。这种行为不仅违反了劳动法的相关规定，还可能损害工人的合法权益。
- 违反其他法律法规：如果工厂外借工人的行为还涉及其他法律法规的禁止性规定（如非法用工、童工等），则这种行为也是违法的。
法律建议：
- 对于工厂而言，应严格遵守劳动法律法规，规范用工行为。如果需要外借工人，应通过合法途径（如劳务派遣、业务外包等）进行，并确保符合相关法律法规的规定。
- 对于工人而言，如果发现自己被非法外借或权益受到损害，应及时向劳动监察部门投诉或寻求法律援助，维护自己的合法权益。
可能法律后果：
- 如果工厂的外借工人行为被认定为违法，可能面临劳动行政部门的处罚（如罚款、责令改正等），并可能需要承担对工人的赔偿责任。
- 对于工人而言，如果权益受到损害，可以通过法律途径要求工厂承担相应的法律责任。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。