结论前置：是否需要回去签离职单，需分情况讨论，具体如下：
若您与工厂已就离职事宜达成一致，且工厂明确要求签署离职单：
- 从法律程序和避免潜在纠纷的角度出发，建议您回去签署离职单。离职单是证明您与工厂劳动关系终止的重要文件，签署后双方的权利义务关系将更加明确，有助于减少后续可能出现的争议，如工资结算、社保缴纳、经济补偿等问题。
- 如果您因特殊原因无法亲自回去签署，可以与工厂协商，看是否可以通过邮寄、电子邮件或其他电子方式签署离职单，并确保签署过程符合工厂的规定和法律要求。
若您与工厂未就离职事宜达成一致，或工厂未明确要求签署离职单：
- 在这种情况下，您是否需要回去签署离职单取决于您的个人意愿和工厂的态度。如果您认为签署离职单对您的权益没有负面影响，且工厂也愿意提供离职单供您签署，那么签署离职单是一个不错的选择，有助于明确双方的权利义务关系。
- 如果您认为签署离职单可能会对您的权益产生不利影响，或者工厂拒绝提供离职单，那么您可以选择不签署。但在此情况下，建议您保留好与工厂沟通的记录，如邮件、短信、聊天记录等，以备不时之需。
从法律风险防范的角度出发：
- 无论您是否选择回去签署离职单，都建议您与工厂保持沟通，确保离职过程顺利进行。如果可能的话，可以要求工厂出具书面离职证明，以证明您与工厂的劳动关系已经终止。
- 如果您在离职过程中遇到任何问题或纠纷，如工厂拒绝支付工资、经济补偿等，您可以及时向当地劳动监察部门投诉或寻求法律援助，以维护自己的合法权益。