政审时档案的处理方式并不是一成不变的，是否会直接把档案调走，取决于多种因素，包括政审的具体要求、单位的实际情况以及档案存放的地点等。

首先，政审是对个人政治背景、道德品质、遵纪守法等情况的审查，其中个人档案是审查的重要依据。在政审过程中，相关部门会根据需要调取个人档案进行查阅。

关于档案是否会被直接调走，这主要取决于政审的具体要求和单位的实际操作。在一些情况下，如乡镇单位由于财力、物力、人力有限，跨地区实地考察成本过高，可能会选择直接调档审查。又或者是考生与档案存放地距离较远，实地查阅成本高，单位也可能会采取调档的方式。然而，也有些单位会进行现场查阅，或者仅让存档单位盖章等。

因此，在政审前，建议考生或相关人士提前了解自己的档案存放情况，并咨询政审单位具体的档案审查方式。如果档案需要被调走，应确保档案的完整性和真实性，避免因档案问题影响政审结果。同时，也应注意保管好自己的个人档案，确保在需要时能够及时提供。

总的来说，政审时档案的处理方式因情况而异，可能会直接调走，也可能会现场查阅或其他方式处理。考生或相关人士应根据具体情况做好准备，确保政审的顺利进行。