结论前置：工厂上班时，仅在安排休息且正常打卡后不在工位的行为，通常不会直接导致劳动合同被解除。但具体情况还需根据公司的规章制度、劳动合同的约定以及员工的具体行为来综合判断。
分析说明：
公司规章制度与劳动合同：
- 工厂或公司通常会有自己的规章制度，这些制度中可能会规定员工的工作时间、休息时间、打卡制度以及工位管理等相关内容。
- 劳动合同是员工与公司之间的重要约定，其中也会明确双方的权利和义务，包括工作时间、岗位职责等。
- 如果规章制度或劳动合同中明确规定，在特定情况下（如休息时间）员工可以不在工位，且该行为不构成违纪，那么公司就不能仅凭此行为解除劳动合同。
员工的具体行为：
- 如果员工在休息时间内正常打卡后不在工位，且没有从事与工作无关或违反公司规定的行为，那么这种行为通常不会被视为违纪。
- 但如果员工在休息时间内从事了与工作无关且违反公司规定的行为（如擅自离岗、旷工等），或者该行为对公司造成了不良影响，那么公司可能会根据规章制度或劳动合同的约定，对员工进行相应的处理，包括解除劳动合同。
法律约束：
- 根据《中华人民共和国劳动合同法》等相关法律法规，公司解除劳动合同需要符合法定的条件和程序。
- 如果公司仅凭员工在休息时间内正常打卡后不在工位的行为就解除劳动合同，且该行为并未违反公司规章制度或劳动合同的约定，那么公司的行为可能会构成违法解除，员工有权依法维护自己的权益。
总结与建议：
- 工厂或公司在管理员工时，应严格遵守法律法规和规章制度，确保员工的合法权益得到保障。
- 员工在享受休息时间的同时，也应遵守公司的规章制度和劳动合同的约定，避免从事违反规定的行为。
- 如果员工认为自己的权益受到了侵犯，可以及时向我咨询，我会提供专业的法律建议和支持。