公务员上交护照给单位是有法律依据的，但这一要求并非普遍适用于所有公务员，而是针对特定岗位或特定情况下的公务员。以下从不同角度进行详细分析：

一、法律依据

1. 《中华人民共和国护照法》：该法并未直接规定公务员必须上交护照，但为护照的管理提供了基本法律框架。护照作为公民出入国境和在国外证明国籍和身份的证件，其管理受到法律的严格规范。

2. 《中华人民共和国出境入境管理法》：此法同样未直接提及公务员上交护照的要求，但强调了出境入境管理的重要性，以及国家工作人员出境入境的特殊规定。在实际操作中，为了加强对国家工作人员出境入境的管理，确保国家安全，一些单位或部门可能会根据内部规定要求特定岗位的公务员上交护照。

3. 内部规定或政策：除了国家层面的法律外，一些单位或部门，特别是涉及国家安全、外交、机要等敏感领域的单位，可能会根据工作需要和内部管理规定，要求特定岗位的公务员上交护照。这些规定通常是为了防止公务员未经批准擅自出境，从而保障国家安全和单位工作的正常进行。

二、特定情况下的要求

1. 涉密岗位公务员：对于从事涉密工作的公务员，如国家安全、外交、机要等岗位，由于其工作性质特殊，可能接触到国家机密或敏感信息，因此单位可能会要求其上交护照，以防止其未经批准擅自出境，造成国家机密泄露或安全风险。

2. 特定时期或任务：在特定时期或执行特定任务时，如国家重大活动、国际会议等，单位可能会要求相关公务员上交护照，以确保其能够全身心投入工作，避免因个人出境计划影响任务的执行。

三、法律建议与注意事项

1. 了解单位规定：公务员应了解所在单位或部门关于护照管理的具体规定，明确自己是否需要上交护照以及上交的具体流程和要求。

2. 遵守法律法规：无论单位是否有明确要求，公务员都应遵守国家关于护照管理和出境入境的法律法规，不得擅自出境或从事违法活动。

3. 保护个人权益：如果公务员认为单位要求上交护照的规定不合理或侵犯了其个人权益，可以通过合法途径提出异议或申诉，但在此过程中应保持理性，避免采取过激行为。

总结来说，公务员上交护照给单位是否有法律依据，取决于具体岗位、工作性质以及单位或部门的内部规定。在大多数情况下，这一要求是为了保障国家安全和单位工作的正常进行。如果你作为公务员对此有疑问或需要进一步的法律指导，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。