结论：不走法律途径，工伤认定书是否由厂子归还，这并没有一个固定的答案，它取决于厂子的态度以及双方协商的结果。不过，我可以从法律角度为你详细分析这个问题，并给出一些建议。

分析：

1. 工伤认定书的性质与归属：

   • 工伤认定书是劳动保障行政部门根据工伤认定申请，对职工因事故伤害或患职业病是否属于工伤或视同工伤进行认定的书面文件。
   • 它是对工伤事实的确认，是职工享受工伤保险待遇的依据。
   • 工伤认定书通常一式多份，分别由劳动保障行政部门、用人单位和职工本人留存。

2. 不走法律途径时工伤认定书的归还：

   • 如果厂子愿意配合，且双方没有争议，那么厂子可能会主动将工伤认定书归还给职工或按照职工的要求处理。
   • 如果厂子不愿意归还，且双方无法通过协商达成一致，那么职工可能面临无法直接获取工伤认定书原件的困境。但职工仍然可以通过其他途径（如向劳动保障行政部门申请复印或出具证明）来证明自己的工伤情况。

3. 法律建议：

   • 协商解决：首先，我建议你尝试与厂子进行协商，明确表达你的需求，即希望获取工伤认定书的原件或复印件。在协商过程中，你可以强调工伤认定书对你的重要性，以及你依法享有的权益。
   • 寻求帮助：如果协商无果，你可以向当地的劳动保障监察部门投诉，请求他们介入调解或查处厂子的违法行为。劳动保障监察部门有权对用人单位的违法行为进行查处，并可以要求用人单位提供相关的文件和资料。
   • 法律途径：虽然你提到不想走法律途径，但在某些情况下，如果厂子的行为严重侵犯了你的合法权益，你可能不得不考虑通过法律途径来维护自己的权益。例如，你可以向劳动争议仲裁委员会申请仲裁，要求厂子归还工伤认定书或承担相应的法律责任。

4. 注意事项：

   • 在处理工伤认定书归还问题时，你要注意保留好相关的证据和文件，如工伤认定申请表、医疗证明、与厂子的沟通记录等。这些证据和文件将有助于你证明自己的工伤情况以及厂子的违法行为。
   • 你要了解自己的权益和义务，以及相关的法律法规和政策。这样，在处理问题时，你才能更加有理有据，更好地维护自己的合法权益。

后续行动建议：

• 我建议你先尝试与厂子进行协商，看是否能够达成一致并获取工伤认定书。
• 如果协商无果，你可以向当地的劳动保障监察部门投诉，并请求他们介入调解或查处。
• 如有需要，你也可以随时向我咨询，我会根据你的具体情况为你提供更详细的法律建议和帮助。