结论：工厂以员工手册中关于旷工的规定为由解除与劳动者的合同，是否违法需分情况讨论。若工厂的规章制度合法、合理且已依法公示，同时劳动者确实存在旷工行为且无合理解释，则工厂解除合同合法；反之，则可能违法。

具体分析：

1. 合法解除的情况：

   • 规章制度合法合理：根据《中华人民共和国劳动合同法》第三十九条，劳动者严重违反用人单位的规章制度的，用人单位可以解除劳动合同。若工厂的员工手册中明确规定了旷工的定义、后果（如连续旷工多少天视为严重违反规章制度）以及解除劳动关系的程序，并且这些规定已经经过民主程序制定（如职工代表大会讨论通过）、内容合法（不违反法律法规的强制性规定）并已向劳动者公示或告知，那么工厂以此为由解除劳动合同是合法的。
   • 劳动者存在旷工行为：若劳动者确实存在旷工行为，且该行为符合员工手册中规定的严重违反规章制度的情形，工厂有权解除劳动合同。

2. 违法解除的情况：

   • 旷工事实认定不清：如果工厂缺乏充分证据证明劳动者旷工，如考勤记录不准确或劳动者能提供合理解释（如因病住院未能及时请假），则工厂仅凭员工手册认定旷工并解除劳动合同可能缺乏事实依据，构成违法。
   • 规章制度不合理或未依法制定公示：如果员工手册中对旷工的界定不合理（如迟到10分钟即算旷工），或者规章制度未经民主程序制定及公示，对劳动者无约束力，那么工厂据此解除劳动合同也是违法的。
   • 存在不可抗力等正当理由：若劳动者旷工系由不可抗力导致，如自然灾害、突发社会事件等，工厂不能简单以旷工为由解除劳动合同。例如，因地震导致员工无法返回工作岗位也无法请假，工厂未考虑不可抗力因素而解除劳动合同，属违法行为。

建议：

• 劳动者：如果认为工厂解除劳动合同的行为违法，可以收集相关证据（如考勤记录、请假记录、医院证明等）向劳动争议仲裁委员会申请仲裁，维护自己的合法权益。
• 工厂：应确保员工手册等规章制度合法、合理，并经过民主程序制定及公示。在解除劳动合同时，应严格遵循法定程序，包括提前通知、听取申辩、出具解除证明等，以避免违法解除劳动合同的风险。

后续行动：

如果您或工厂在处理此类问题时遇到具体困难或疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。