结论：单位收走护照集体保管是否合法，需根据具体情况来判断，不能一概而论。以下是从不同角度进行的分析：
基本原则：个人持有与使用
- 根据《中华人民共和国护照法》及相关法律规定，护照是公民出入国境和在国外证明国籍与身份的法定证件，其持有和使用权依法属于个人。原则上，个人护照不应由单位保管，这是公民的基本权利，任何单位或个人均无权非法剥夺或限制。
特定情形下的合法性分析
- 因公护照：对于因公务出国的人员所持有的因公护照，根据国家相关规定及单位内部管理制度，单位有权统一保管。这是出于公务管理和外事纪律的需要，确保因公出国（境）活动的规范有序进行。在此情况下，单位保管护照是合法的。
- 事先约定：在员工与单位签订的劳动合同中，如果双方明确约定在特定情况下（如涉及公司重大项目、商业机密保护等），员工需将护照交由单位保管，并且该约定不违反法律法规的强制性规定，那么单位依据此约定保管护照具有合法性。但此类约定必须是双方真实意思的表示，且应遵循公平合理的原则。
- 法律法规授权：在某些特殊行业或岗位（如涉及国家安全、保密等特殊工作的人员），相关法律法规可能授权单位对员工的护照进行管理或限制使用。在此情况下，单位依据法律法规的授权保管护照也是合法的。
单位保管护照的法律风险
- 如果单位未经合法依据擅自保管员工的个人护照，可能面临侵犯员工合法权益的法律风险，包括护照的持有和使用权。此外，如因单位原因导致护照遗失、被盗或损毁，单位可能需要承担经济赔偿责任，甚至可能涉及对员工个人隐私权的侵犯等法律问题。
建议：
- 对于员工而言，如果单位要求保管护照，应首先了解单位的要求是否合法合规，并查看劳动合同中是否有相关约定。如果认为单位的要求不合理或侵犯了自己的合法权益，可以与单位进行沟通协商，或寻求法律援助以保护自己的权益。
- 对于单位而言，应严格遵守相关法律法规和内部管理制度，确保在保管员工护照时有合法依据，并尊重员工的合法权益。如果因工作需要确实需要保管员工护照，应与员工签订明确的协议，并遵循公平合理的原则。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。