工厂仅因食堂吃出苍蝇，通常无权直接解除劳动合同。以下是对此问题的详细分析：

1. 合同解除的法定条件：

   • 根据《中华人民共和国劳动合同法》的相关规定，劳动合同的解除需要基于法定的解除事由，如劳动者严重违反用人单位的规章制度、严重失职、营私舞弊等，或者用人单位与劳动者协商一致等。
   • 食堂吃出苍蝇通常属于食品安全或卫生管理问题，并不直接构成劳动者严重违反用人单位规章制度或严重失职等法定解除事由。

2. 工厂可能的应对措施：

   • 工厂可以依据内部管理制度，对食堂的卫生状况进行整改，加强食品安全管理，确保员工的饮食健康。
   • 如果食堂的卫生问题严重影响到员工的身体健康或工作秩序，工厂可以采取相应的管理措施，如暂停食堂服务、更换食堂承包商等，但这并不构成解除劳动合同的法定理由。

3. 特殊情况下的考虑：

   • 如果劳动合同中有特别约定，如员工需严格遵守食品安全规定，且违反该规定将构成严重违约，那么在这种情况下，工厂可能有权依据劳动合同的约定解除劳动合同。但这需要具体查看劳动合同的条款内容。
   • 另外，如果工厂的规章制度中明确规定了食堂卫生问题的处理办法，且该办法中包含了解除劳动合同的条款，并且该规章制度已经过民主程序制定并公示，那么工厂在符合规定的情况下也有可能解除劳动合同。但这同样需要具体查看规章制度的制定和执行情况。

综上所述，工厂仅因食堂吃出苍蝇通常无权直接解除劳动合同。如果工厂认为食堂的卫生问题严重影响到员工的身体健康或工作秩序，应采取相应的管理措施进行整改，而不是直接解除劳动合同。如果员工对此类问题有疑问或担忧，建议及时与工厂的人力资源部门或法务部门沟通，以了解具体的处理办法和法律依据。