结论：承包方按发包方主张将土地出租给外地人建厂是否违法，需根据土地性质、租赁合同内容及是否符合相关法律法规来判断。以下从不同角度进行详细分析：

1. 土地性质与用途：

   • 农用地：如果承包的土地属于农用地，特别是基本农田，根据《土地管理法》和《农村土地承包法》的相关规定，农用地应当用于农业用途，如种植、养殖等。若未经依法批准，擅自将农用地转为建设用地（如建厂），则属于违法行为，可能面临土地管理部门的处罚，包括责令限期改正、没收违法所得、罚款等。
   • 建设用地：如果承包的土地原本就是建设用地，或者已经通过合法程序转为建设用地，那么在该土地上建厂可能不违反土地用途管制的规定。但即便如此，也需确保租赁行为符合当地土地利用规划和城乡规划，且租赁合同内容合法有效。

2. 租赁合同内容：

   • 合同效力：租赁合同应当明确双方的权利义务，包括土地用途、租赁期限、租金支付方式等。如果合同中明确约定土地用于建厂，且该用途不违反土地性质和用途管制的规定，那么合同本身可能是有效的。但需注意，合同的有效性并不等同于行为的合法性，即合同有效并不意味着所有行为都合法。
   • 违法条款：如果租赁合同中包含违反法律法规的条款，如未经批准擅自改变土地用途、违反土地利用规划等，那么这些条款是无效的，且可能因违法行为而受到处罚。

3. 相关法律法规：

   • 《土地管理法》：该法规定了土地用途管制制度，明确农用地转为建设用地需依法办理审批手续。未经批准擅自改变土地用途的，将受到法律制裁。
   • 《农村土地承包法》：该法规定了农村土地承包经营权的流转方式，包括转包、出租、互换、转让等。但流转时不得改变土地的农业用途，且需遵守相关法律法规和政策规定。
   • 《城乡规划法》：该法规定了城乡规划的制定和实施，包括建设用地的规划许可。在建设用地上建厂需符合城乡规划，并取得相应的规划许可。

4. 可能后果：

   • 行政处罚：如果承包方和发包方的行为违反了土地管理、城乡规划等相关法律法规，可能面临土地管理部门的行政处罚，如罚款、没收违法所得、责令限期改正等。
   • 合同纠纷：如果租赁合同因违反法律法规而无效或部分无效，可能导致双方产生合同纠纷，需通过法律途径解决。
   • 刑事责任：在极端情况下，如果行为构成非法占用农用地罪等刑事犯罪，相关责任人可能面临刑事处罚。

建议：

• 在出租土地前，务必了解土地的性质和用途，确保租赁行为符合相关法律法规和政策规定。
• 签订租赁合同时，应明确土地用途、租赁期限、租金支付方式等关键条款，并确保合同内容合法有效。
• 如需改变土地用途或进行建设活动，应依法办理相关审批手续，取得相应的许可证件。
• 在遇到法律问题时，建议及时咨询专业律师，以便获得更具体、更专业的法律建议。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。