结论：工厂主管将“不听安排”直接认定为“旷工半天”是否合法，需结合具体情况判断，一般情况下不合法，但若员工行为符合旷工构成要件且规章制度合法，则可能合法。以下从不同角度详细分析：
一、旷工的法定构成要件
旷工的核心要件是“无正当理由未提供劳动”，需同时满足：
- 主观故意：员工明知应到岗工作却故意不到岗；
- 客观行为：未实际提供劳动；
- 无合理事由：如请假未获批、未履行请假手续等。
若员工仅“不听安排”但实际到岗工作（如拒绝调岗但仍在原岗位工作），则不符合旷工的客观行为要件，工厂主管的认定不合法。
二、工厂规章制度的合法性审查
即使员工行为符合旷工构成要件，工厂主管的认定还需满足以下条件：
- 规章制度内容合法：
- 规章制度需明确“不听安排”的具体情形（如拒绝调岗、拒绝加班等）及对应后果；
- 不得将“轻微不服从管理”直接等同于旷工，否则可能因“处罚过当”被认定违法。
- 规章制度制定程序合法：
- 需经职工代表大会或全体职工讨论，与工会或职工代表协商确定；
- 需向员工公示或告知（如培训签到、签字确认等）。
若工厂规章制度未明确“不听安排”与旷工的关联，或制定程序违法，则工厂主管的认定不合法，员工可主张规章制度无效。
三、具体情形分析
- 员工拒绝不合理安排：
- 若工厂安排违反法律规定（如强制加班、调岗至危险岗位等），员工有权拒绝，且不构成旷工；
- 工厂主管的认定违法，员工可向劳动监察部门投诉或申请劳动仲裁。
- 员工拒绝合理安排但未离岗：
- 如员工拒绝调岗但仍在原岗位工作，或拒绝加班但正常出勤，则不构成旷工；
- 工厂主管的认定违法，员工可要求工厂按实际出勤支付工资。
- 员工拒绝安排且离岗：
- 若员工因拒绝安排擅自离岗（如拒绝调岗后未到新岗位也未回原岗位），且离岗时间达半天，则可能构成旷工；
- 但工厂仍需证明规章制度已明确该情形为旷工，且制定程序合法。
四、法律后果与建议
- 若工厂主管认定违法：
- 员工可要求工厂撤销处罚、补发工资；
- 若工厂以此为由解除劳动合同，员工可主张违法解除，要求支付赔偿金（2N，N为工作年限）。
- 若工厂主管认定合法：
- 员工需接受处罚，但可要求工厂提供规章制度依据及制定程序证明；
- 若对处罚有异议，可申请劳动仲裁。
建议：
- 对员工：保留到岗证据（如考勤记录、工作记录）、拒绝安排的沟通记录（如微信、邮件），以便维权；
- 对工厂：完善规章制度，明确“不听安排”的具体情形及后果，并确保制定程序合法；处罚前需核实员工行为是否符合旷工要件。
如有进一步疑问，可直接向我咨询。