工厂作为用人单位，对外来人员没有罚款的权利。以下从不同角度为你详细分析：

1. 从法律授权角度
   根据我国现行法律体系，罚款属于行政处罚范畴，只有特定的行政机关（如公安机关、市场监管部门等）在法定权限内才能实施。工厂作为民事主体，既非行政机关也未获得法律授权，因此无权对外来人员（包括访客、供应商、客户等）进行罚款。若工厂擅自罚款，可能涉嫌违法。

2. 从合同关系角度
   若外来人员与工厂存在合同关系（如承包商、临时工），工厂能否罚款需以合同约定为准。但需注意：

   • 合同中“罚款”条款可能因违反法律强制性规定（如《劳动合同法》中用人单位不得随意扣减劳动者工资）而被认定无效；
     
   • 即使合同有效，工厂也仅能依据合同约定主张违约金或赔偿损失，而非直接“罚款”。违约金金额需合理，过高部分可能被法院调整。

3. 从侵权责任角度
   若外来人员因故意或重大过失造成工厂损失（如损坏设备、泄露商业秘密），工厂可依据《民法典》要求其赔偿实际损失，但需通过协商、诉讼等合法途径主张，而非单方面罚款。赔偿范围以实际损失为限，工厂不得借此谋取额外利益。

建议：

• 若你是外来人员，遇到工厂罚款可拒绝支付，并保留相关证据（如罚款通知、录音录像等），必要时向劳动监察部门投诉或起诉；
  
• 若你是工厂管理者，建议通过完善管理制度（如签订违约责任条款、购买保险转移风险）替代罚款，避免法律风险。
  

如有具体案例或细节需要进一步分析，欢迎随时向我咨询。