根据劳动法相关规定，对于工厂员工没辞职直接走人的情况，工资的处理方式主要遵循以下几点：
一、工资支付原则
首先，劳动者为用人单位付出了劳动，无论是否辞职，用人单位都应当支付其实际工作期间的工资。这是基于《工资支付暂行规定》和《劳动法》的明确规定，即用人单位应当在解除或终止劳动合同时一次性付清劳动者的工资。
二、违法解除劳动合同的责任
然而，不辞职直接走人属于违法解除劳动合同的行为。根据劳动法规定，正式员工应提前三十日书面通知用人单位，试用期员工应提前三日通知。若员工未能提前通知并因此给用人单位造成损失，如影响工作交接、产生招聘替代人员成本等，用人单位有权要求员工赔偿。
三、工资扣除与赔偿
工资扣除：如果员工未办理离职手续给用人单位造成了实际损失，并且用人单位能够证明这一点，那么用人单位可以在工资中扣除相应的赔偿费用。但扣除部分不得超过员工当月工资的20%，且扣除后的剩余工资不得低于当地最低工资标准。
赔偿责任：若扣除工资后仍不足以弥补用人单位的损失，用人单位有权继续向员工追偿。
四、维权途径
对于用人单位暂不支付工资或扣除工资过多的情况，员工可以先与用人单位协商解决。如果协商不成，员工可以向当地劳动监察部门投诉或申请劳动仲裁来维护自己的合法权益。
综上所述，工厂员工没辞职直接走人时，用人单位应当支付其实际工作期间的工资，但如有损失发生并且能够证明是员工行为所致，用人单位有权在工资中扣除相应赔偿费用。员工若对工资支付有异议，可通过协商、投诉或仲裁等方式维权。