单位不能仅因员工不交护照就将其开除。下面我来详细解释一下这个问题：

首先，我们要明确，护照是公民的个人身份证件，用于国际旅行和证明身份，其所有权和使用权属于个人。单位无权要求员工上交护照，除非有特殊的法律规定或合同约定，并且这种要求必须合理且合法。

其次，如果单位以员工不交护照为由将其开除，这很可能构成违法解除劳动合同。根据《中华人民共和国劳动合同法》的规定，单位解除劳动合同必须基于合法的理由，如员工严重违反单位规章制度、不能胜任工作等。而员工不交护照并不属于这些合法的解除理由之一。

因此，如果单位要求你上交护照，你可以明确拒绝，并告知单位这是你的个人身份证件，无权要求上交。如果单位因此对你进行威胁或开除，你可以通过劳动仲裁或诉讼来维护自己的合法权益。

总之，单位不能仅因员工不交护照就将其开除，这种做法是违法的。如果你遇到类似的情况，可以及时向我咨询，我会为你提供专业的法律帮助。