行政单位在特定情况下确实有收回退休干部出国护照的权利，但这一权利的行使需严格遵循法律法规的规定。以下是对这一问题的详细分析：

一、法律依据与原则

1. 护照管理法规：根据《中华人民共和国护照法》的相关规定，护照是公民出入国境和在国外证明国籍和身份的证件。护照的签发、换发、补发和注销等管理活动，均需遵循该法的规定。
2. 行政单位权限：行政单位，特别是涉及国家安全、外交等敏感领域的单位，可能根据法律法规或内部规定，对特定人员的护照进行管理，包括收回护照。但这一权限并非无限制，必须依法行使。

二、收回护照的特定情况

1. 涉及国家安全或重大利益：如果退休干部的出国行为可能涉及国家安全或重大利益，行政单位有权根据相关法律法规或内部规定，收回其护照，以防止潜在的风险或损害。
2. 违反法律法规或内部规定：如果退休干部在出国过程中或出国后违反了相关法律法规或内部规定，行政单位也有权根据规定收回其护照，作为对其违规行为的处理措施之一。
3. 特定任务或项目需要：在某些特定任务或项目中，如果退休干部的出国行为可能影响到任务的执行或项目的进展，行政单位也可能根据任务或项目的需要，收回其护照。

三、收回护照的程序与限制

1. 依法定程序进行：行政单位在收回退休干部护照时，必须遵循法定程序，如出具正式文件、说明收回原因、告知救济途径等。这既是对退休干部权益的保障，也是对行政单位权力的约束。
2. 尊重个人权益：在收回护照的过程中，行政单位应尊重退休干部的个人权益，如隐私权、申诉权等。如果退休干部对收回护照的决定有异议，他们有权依法提出申诉或寻求法律救济。
3. 不得滥用权力：行政单位在行使收回护照的权力时，必须严格遵守法律法规和内部规定，不得滥用权力或侵犯退休干部的合法权益。否则，将可能面临法律责任和行政处分。

四、实际建议

1. 了解相关法律法规：退休干部在出国前应了解相关法律法规和内部规定，确保自己的出国行为合法合规。同时，他们也应了解行政单位在护照管理方面的权限和程序，以便在必要时维护自己的权益。
2. 积极沟通协商：如果行政单位提出收回护照的要求，退休干部应积极与行政单位沟通协商，了解收回原因和依据。如果认为收回决定不合理或违法，他们可以依法提出申诉或寻求法律救济。

总结来说，行政单位在特定情况下确实有收回退休干部出国护照的权利，但这一权利的行使必须严格遵循法律法规的规定和程序。退休干部在出国前应了解相关法律法规和内部规定，并在必要时积极维护自己的权益。如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。