在工厂工作，如果只办理退宿而不办理辞职手续就直接离开，这种行为可能会带来一系列的问题和后果，下面我将从对用人单位和劳动者两方面的影响来详细解释：
对用人单位的影响：
经济损失：劳动者不办离职就直接走人，可能会给用人单位造成直接的经济损失。比如，未完成的工作任务可能需要其他员工加班完成，或者需要重新招聘和培训新员工，这些都会增加用人单位的成本。
法律责任：根据劳动法规定，劳动者解除劳动合同应当提前通知用人单位，并做好工作交接。不办离职直接走人，可能构成违法解除劳动合同，劳动者需要承担由此给用人单位造成的损失赔偿责任。
对劳动者的影响：
经济补偿金：即便是用人单位主动解除劳动合同，如果劳动者不办离职手续，用人单位可能会以劳动者没有按照公司规章制度办理离职手续造成单位经济损失为由，拒绝支付经济补偿金。
职业声誉：不办离职直接走人，可能会给劳动者的职业声誉带来负面影响。这种行为可能会被视为不负责任、不专业，影响劳动者在未来的求职和职业发展。
法律风险：如果劳动者在离职过程中违反了劳动合同中的约定，比如保密义务或竞业限制，可能会面临法律风险，需要承担相应的法律责任。
因此，我建议你在决定离职时，一定要按照法律的规定程序来进行，包括写辞职信、与主管详谈、做好工作交接等。这样不仅可以避免给用人单位造成经济损失，也可以保护自己的合法权益，避免不必要的法律风险和职业声誉损失。同时，办理退宿只是离职手续中的一部分，不能替代正式的辞职流程。