关于要求退休人员把护照交给单位是否合法的问题，这主要取决于具体的政策规定以及退休人员的级别和岗位性质。

首先，对于省管离退休厅局级干部，根据相关政策规定，他们本人不得持有因私出国（境）证件，这类证件应由所在单位组织人事部门统一集中保管。这意味着，对于这一级别的退休人员，单位要求他们上交护照是符合政策规定的。

其次，对于处级及以下离退休干部，情况则有所不同。根据政策，他们的出国（境）证件由本人保管，且因私出国（境）不需要单位审批。因此，对于这一级别的退休人员，单位无权要求他们上交护照。

最后，对于涉密岗位的离退休干部，护照的管理则按照保密部门的相关规定执行。这可能涉及到特殊的保密要求，需要退休人员遵守相关规定。

综上所述，要求退休人员把护照交给单位是否合法，取决于退休人员的级别和岗位性质。对于省管离退休厅局级干部和涉密岗位的离退休干部，单位有权或需要按照相关规定要求他们上交护照。而对于处级及以下离退休干部，单位则无权要求他们上交护照。因此，在具体情况下，应参照相关政策规定来确定单位的要求是否合法。