1. 工厂五一不放假并不一定直接违法：

   • 根据《中华人民共和国劳动法》第四十条，用人单位在法定节假日（包括五一劳动节）应当依法安排劳动者休假。然而，该法第四十一条也规定，如果工厂因生产经营需要，且与工会和劳动者协商一致，可以安排劳动者在法定节假日工作。
   • 关键点：工厂五一不放假是否违法，主要取决于是否满足两个条件：一是因生产经营需要；二是与工会和劳动者协商一致，并支付相应的加班工资。

2. 若工厂五一不放假且未满足合法条件，则构成违法：

   • 如果工厂既未与工会和劳动者协商，也未支付不低于工资百分之三百的加班工资，那么这种行为就违反了《中华人民共和国劳动法》的相关规定。
   • 法律后果：工厂可能面临劳动保障行政部门的警告、责令限期改正，并可能受到罚款等行政处罚。同时，劳动者也有权要求工厂支付应得的加班工资，并可以通过法律途径维护自己的权益。

3. 劳动者应如何维护自己的权益：

   • 与工厂协商：首先，劳动者可以尝试与工厂进行沟通，要求支付加班工资或安排补休。
   • 向工会求助：如果协商无果，劳动者可以向工会寻求帮助，由工会出面进行调解。
   • 向劳动监察部门投诉：若工厂仍不改正，劳动者可以向当地劳动监察部门投诉，由其进行调查并责令工厂改正违法行为。
   • 申请劳动仲裁或提起诉讼：在以上途径均无法解决问题的情况下，劳动者还可以向劳动仲裁委员会申请劳动仲裁，或向人民法院提起诉讼，通过法律手段来维护自己的合法权益。

4. 特殊情况下的考虑：

   • 对于某些特殊行业，如医院、公交系统、铁路民航等，由于其工作性质的特殊性和社会公共服务的需求，这些人员可能需要在五一等节假日期间正常工作。在这种情况下，单位应按照规定安排轮休、调休或者支付加班工资，只要符合相应的劳动法律法规规定，这种安排并不构成违法。

总结与建议：工厂五一不放假是否违法，需根据具体情况判断。如果工厂因生产经营需要安排加班，且与工会和劳动者协商一致并支付了相应的加班工资，那么这种行为是合法的。反之，则构成违法，劳动者有权采取相应措施维护自己的合法权益。如果您在劳动权益方面遇到任何问题，都可以直接向我咨询，我会根据您的具体情况提供详细的法律建议。