关于退休人员护照是否需要单位管理的问题，这主要取决于退休人员的级别以及具体的单位规定。以下是对这一问题的详细解答：

一、司局级及以上离退休干部

对于司局级及以上的离退休干部，其因私出国（境）证件，包括个人因私护照、内地居民往来港澳通行证和大陆居民往来台湾通行证，通常需要由单位进行统一管理。具体来说，这些证件可能需要上交到单位的相关部门，如人事劳动司或国际交流服务中心等，进行统一保存。每次因私出国（境）后，也需要在规定的时间内将证件交回单位。

二、处级及以下离退休干部

对于处级及以下的离退休干部，其因私出国（境）证件一般由本人自行保管，且其因私出国（境）通常不需要经过单位审批。这意味着，这些退休人员可以相对自由地管理自己的出国（境）证件，并根据个人需求进行出国（境）活动。

三、涉密岗位的离退休干部

对于曾经从事涉密岗位的离退休干部，其出国（境）证件的管理可能需要按照保密部门的相关规定执行。这可能涉及更严格的证件保管和出国（境）审批流程，以确保国家安全和保密要求得到遵守。

综上所述，退休人员护照是否需要单位管理并没有一个统一的答案，而是需要根据退休人员的级别、单位规定以及是否涉及保密等因素来具体确定。因此，建议退休人员在准备出国（境）前，先咨询所在单位的相关部门或负责人，了解具体的证件管理要求和出国（境）审批流程。