单位对于因工作调动或离退休等原因离开的人员，应及时收回其因公护照，并根据具体情况进行妥善处理。具体分析如下：

1. 收回与保管：

   • 当员工因工作调动或离退休等原因离开原单位时，单位应首先要求其交回因公护照。这是单位管理因公护照的基本职责，也是确保国家安全和单位利益的重要措施。
   • 收回的因公护照应由单位指定的部门或专人进行保管，并建立相应的保管制度，确保护照的安全和完整。

2. 注销与备案：

   • 对于已收回的因公护照，单位应及时到发照机关办理注销手续，以避免护照被滥用或遗失带来的风险。
   • 同时，单位还应将护照的注销情况向相关部门进行备案，以便在需要时进行查询和核实。

3. 特殊情况处理：

   • 如果员工因工作调动需要继续使用因公护照，单位应根据实际情况进行审批，并办理相关的护照变更或延期手续。
   • 对于离退休员工，如果其因公护照仍在有效期内且需要继续使用（如因特殊原因需出国访问等），单位应与其协商并明确使用责任和期限，同时报请上级主管部门批准。

4. 法律责任与风险提示：

   • 单位应明确告知离开员工，因公护照是代表国家或单位出国的证件，不得私自转让、出借或涂改。如违反规定，将承担相应的法律责任。
   • 单位也应加强内部管理，建立健全的护照管理制度，防止因公护照的滥用或遗失给单位带来不必要的损失和风险。

在处理因公护照的过程中，单位应严格遵守国家相关法律法规和外交部门的规定，确保护照管理的合法性和规范性。如果单位在处理过程中遇到任何法律问题或需要进一步的法律指导，可以直接向我咨询。