单位拒绝调阅工资档案是否违法，需分情况讨论：
若您是员工，且因劳动权益需要调阅工资档案：
- 法律依据：根据《中华人民共和国劳动争议调解仲裁法》第六条，发生劳动争议，当事人对自己提出的主张，有责任提供证据。与争议事项有关的证据属于用人单位掌握管理的，用人单位应当提供；用人单位不提供的，应当承担不利后果。工资档案作为用人单位掌握管理的证据，员工在劳动争议中有权要求调阅。
- 分析：若您因劳动权益（如工资纠纷、加班费争议等）需要调阅工资档案，而单位拒绝提供，这可能构成违法。单位有义务提供其掌握管理的与争议事项有关的证据，否则可能面临不利后果。
- 建议：您可以先与单位协商，要求调阅工资档案。若协商无果，可以向劳动争议调解委员会申请调解，或直接向劳动争议仲裁委员会申请仲裁，要求单位提供工资档案作为证据。
若您是单位外部人员，如审计机构、税务机关等，因工作需要调阅工资档案：
- 法律依据：这主要取决于相关法律法规对特定机构调阅企业档案的规定。例如，税务机关在税务检查时，有权要求企业提供相关财务资料，包括工资档案。
- 分析：若您作为外部机构，因工作需要调阅工资档案，且相关法律法规赋予了您这样的权利，那么单位拒绝提供可能构成违法。但具体还需根据相关法律法规和调阅程序来判断。
- 建议：在调阅前，请确保您具备合法的调阅资格和程序。若单位拒绝提供，您可以向相关主管部门反映情况，或寻求法律途径解决。
若您是单位内部非直接相关人员，如非财务部门员工，因个人原因想要调阅工资档案：
- 法律依据：这主要取决于单位内部的规章制度和保密协议。一般来说，单位有权制定规章制度，对工资档案的调阅进行限制。
- 分析：若您作为单位内部非直接相关人员，因个人原因想要调阅工资档案，而单位根据内部规章制度或保密协议拒绝提供，这通常不构成违法。单位有权保护其商业秘密和员工隐私。
- 建议：尊重单位的规章制度和保密协议，不要试图非法获取或调阅工资档案。若您有合理需求，可以与单位相关部门沟通，寻求合法途径解决。
总结与提醒：单位拒绝调阅工资档案是否违法，需根据具体情况判断。若您因劳动权益需要调阅，且单位拒绝提供，可能构成违法；若您作为外部机构或内部非直接相关人员，因工作或个人原因想要调阅，则需根据相关法律法规和单位规章制度来判断。在任何情况下，都请尊重法律法规和单位规章制度，通过合法途径解决问题。如有进一步疑问或需要法律帮助，请直接向我咨询。