关于退休人员护照为何要交单位的问题，这主要取决于具体的单位规定以及退休人员的行政级别。以下是一些可能的原因和情况说明：

首先，对于某些特定单位或机构，特别是涉及国家安全、机密或特殊行业的单位，可能会有要求退休人员上交护照的规定。这是为了确保退休人员不会利用护照进行未经授权或可能涉及敏感事务的出国（境）活动，从而维护单位或国家的安全和利益。

其次，根据一些单位的人事管理规定，特别是针对高级别退休人员，如司局级及以上离退休干部，因私出国（境）可能需要经过一定的备案或审批程序，并将护照等证件上交单位统一保管。这是为了加强对高级别退休人员出国（境）行为的管理和监督，防止其利用身份或影响力进行不当活动。

然而，也需要注意到，并非所有单位都会要求退休人员上交护照。这主要取决于单位的具体规定和实际情况。对于没有此类要求的单位，退休人员可以自由保管和使用自己的护照，但也需要遵守国家相关的出入境法律法规。

此外，还需要注意的是，即使单位要求上交护照，也并不意味着退休人员就完全不能出国（境）。在符合相关规定和程序的情况下，退休人员仍然可以申请出国（境）旅游、探亲或进行其他合法活动。只是在这个过程中，可能需要经过单位的审批或备案程序，并遵守相关的管理规定。

综上所述，退休人员护照为何要交单位，主要取决于单位的具体规定和退休人员的行政级别。对于有此要求的单位，退休人员需要遵守相关规定，并将护照上交单位统一保管；对于没有此要求的单位，退休人员则可以自由保管和使用自己的护照。