单位不可以随意调阅个人档案。根据相关规定，如皖人社秘〔2014〕53号、《流动人员人事档案管理服务规定》的通知2021(112)号文件，对于流动人员人事档案的查阅有严格的规定。

首先，只有特定的单位，如公安部门、安全部门、检察部门以及公证处等，因工作需要才可以查阅人事档案。并且，查阅人必须为两名中共党员，同时需要携带单位介绍信和有效证件才能进行查阅。

其次，对于设有党委（含独立总支）的用人单位，如果因工作需要查阅人事档案，也必须经过档案管理服务机构的审核同意。同样，查阅人也需要满足为两名中共党员，并携带单位介绍信和有效证件的条件。

最后，值得注意的是，任何个人都不得查阅自己、配偶、直系血亲、三代以内旁系血亲以及近姻亲人员的人事档案，这是为了保护个人隐私和档案的机密性。

综上所述，单位不能随意调阅个人档案，必须遵守相关规定和程序。如果您有关于个人档案查阅的疑问或需求，建议咨询当地的档案管理服务机构或相关部门，以获取更准确和具体的信息。