工厂五一放一天假，在遵守相关法律法规的前提下，可以不算违规。但具体是否违规，我们需要从多个角度进行详细分析：
法定节假日与放假规定：
- 根据《全国年节及纪念日放假办法》，劳动节是全体公民放假的节日，通常放假时间为5月1日一天。因此，从法律层面看，工厂在劳动节仅放一天假是符合该法规的基本要求的。
工时制度与调休安排的影响：
- 若工厂实行标准工时制，且未安排调休，仅在五一当天放假并要求员工加班，则违反法律规定，此时应支付不低于工资300%的加班费。
- 若工厂通过调休方式，如将五一前后的周末进行调换，确保员工在五一所在周有连休，并总休息天数满足每周至少休息一日的规定，同时支付正常工资，则此安排不违反法律。
- 对于不定时工作制或综合计算工时工作制的员工，工厂也需确保在法定节假日的休息权利，或按照法律规定支付加班费。
加班与补偿：
- 无论何种工时制度，若工厂在五一当天或法定节假日的其他休息日安排员工加班，均需按照《中华人民共和国劳动法》的规定支付加班费。具体来说，法定休假日加班应支付不低于工资的300%的报酬；休息日加班不能安排补休的，应支付不低于工资的200%的报酬。
综上所述，工厂五一放一天假本身并不直接构成违规，但关键在于工厂是否遵守了相关的工时制度、调休安排以及加班补偿等规定。如果工厂未能按照法律规定进行安排，就可能构成违规，员工有权向劳动监察部门投诉或申请劳动仲裁来维护自身权益。因此，工厂在制定放假安排时，应充分考虑员工的休息权益，确保符合相关法律法规的要求。