结论：是否违法需分情况讨论，主要取决于您与用人单位之间的劳动合同约定、用人单位的规章制度以及您拒绝工作的具体原因。以下从不同角度为您详细分析：

1. 劳动合同与规章制度的角度：

   • 如果您的劳动合同中明确规定了您的工作岗位、职责以及调岗的相关条款，且主管安排您去干其他工作并未违反这些条款，那么您应当服从安排。在这种情况下，如果您第二天直接不去，可能构成违反劳动合同的行为，用人单位有权依据合同或规章制度对您进行处理，如警告、罚款甚至解除劳动合同。
   • 如果劳动合同中没有明确规定调岗的相关条款，或者主管的安排违反了劳动合同中的约定，那么您有权拒绝。但即便如此，直接不去上班也可能不是最佳的处理方式，因为这可能给用人单位留下您违反劳动纪律的印象。

2. 劳动纪律与规章制度的角度：

   • 无论劳动合同中是否有明确规定，用人单位通常都会制定一系列的劳动纪律和规章制度。如果这些制度中明确规定了员工应当服从工作安排，否则将受到相应的处罚，那么您第二天直接不去上班就可能违反了这些制度，用人单位有权依据制度对您进行处理。
   • 如果您认为主管的安排不合理或存在违法行为（如强迫劳动、侮辱人格等），您有权向用人单位的上级部门或劳动监察部门投诉，而不是直接拒绝上班。

3. 实际后果与应对策略的角度：

   • 如果您第二天直接不去上班，用人单位可能会认为您旷工，进而依据规章制度对您进行处罚，如扣除工资、解除劳动合同等。这不仅会影响您的经济利益，还可能对您的职业声誉造成负面影响。
   • 建议您在遇到此类情况时，首先与主管或用人单位的人力资源部门进行沟通，说明您的顾虑和理由，寻求合理的解决方案。如果沟通无果，您可以考虑向劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。

建议：在处理此类劳动纠纷时，务必保持冷静和理性，避免采取过激行为。同时，建议您保留好相关证据（如劳动合同、工作安排通知、沟通记录等），以便在需要时证明自己的主张。如果您对具体的法律程序或权益保护有疑问，可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。