结论：离职时，公司通常不需要归还你上一家公司的离职证明，但存在特定情形时，你可以合理索回或要求重新开具离职证明。

详细分析：

1. 离职证明的法律性质与重要性：

   • 离职证明是劳动者与前公司解除劳动关系的书面证明，它不仅是劳动者工作经历和离职情况的重要凭证，还是申请失业金、应聘新职位以及办理人事关系、社保、公积金转移等手续的重要依据。
   • 根据《中华人民共和国劳动合同法》第五十条的规定，用人单位在解除或终止劳动合同时，必须出具解除或终止劳动合同的证明。

2. 公司是否需要归还离职证明：

   • 一般情况：离职证明一旦出具，通常由劳动者本人保管，公司不会也不需要收回。因为离职证明是劳动者个人权益的证明，公司无权要求收回。
   • 特殊情况：如果离职证明存在错误信息，如离职原因、工作时间等不准确，劳动者有权要求原公司重新开具并索回错误证明。此外，如果劳动者后续需要使用离职证明办理重要事务（如入职新单位、申请失业保险金、办理落户等），且目前无该证明，也可以合理向原公司索回或要求重新开具。

3. 原公司可能拒绝索回的情况：

   • 如果离职证明已被新单位收走存档，且原公司认为劳动者不应再次持有，可能会拒绝索回。
   • 如果劳动者与原公司存在未了结的纠纷，如经济赔偿、商业秘密争议等，原公司也可能拒绝索回离职证明。

4. 索回离职证明的方式与途径：

   • 友好沟通：首先，你可以尝试与前公司的人力资源部门或相关负责人沟通，说明索回离职证明的合理原因，争取理解与配合。
   • 向劳动行政部门投诉：如果沟通无果，你可以向当地劳动监察部门投诉举报，由劳动行政部门责令前公司改正。
   • 法律仲裁与诉讼：如果仍无法解决，你可以依据《中华人民共和国劳动争议调解仲裁法》申请劳动仲裁，或向法院提起诉讼，要求原公司履行协助义务。

5. 注意事项与建议：

   • 保管好原件：离职证明原件一般不可要回，因此你应妥善保管好自己的离职证明原件，避免遗失或损坏。
   • 提交复印件：如需上交相关部门审查，建议提交复印件，并要求公司在复印件上加盖公章以证明其真实性。
   • 及时维权：如果遇到用人单位拒绝出具或提供离职证明的情况，你应及时采取上述措施维护自身合法权益。

总结与建议： 离职时，公司通常不需要归还你上一家公司的离职证明。但如果你需要索回或重新开具离职证明，应首先尝试友好沟通，如果沟通无果，可以考虑向劳动行政部门投诉或通过法律途径解决。同时，建议你妥善保管好自己的离职证明原件，以备不时之需。如果你在处理过程中遇到任何法律问题或困惑，可以直接向我咨询，我会为你提供专业的法律建议和帮助。