结论：工厂五一假期不放假，1号和2号上班后调休两天且不给加班费的做法不符合法律规定，劳动者有权要求工厂支付加班费。
具体分析：
法定假日加班规定：
- 根据《中华人民共和国劳动法》第四十四条的规定，法定休假日安排劳动者工作的，支付不低于工资的百分之三百的工资报酬。五一劳动节作为法定假日，1号和2号属于法定假日期间，如果工厂安排劳动者上班，应当按照法律规定支付三倍工资作为加班费。
调休与加班费的关系：
- 调休通常适用于休息日加班的情况。根据劳动法规定，休息日安排劳动者工作又不能安排补休的，支付不低于工资的百分之二百的工资报酬。但五一假期的1号和2号属于法定假日，不是普通的休息日，因此不能通过调休来替代支付加班费。
劳动者的权益：
- 劳动者有权在法定假日获得休息，如果因工作需要不能休息，则有权获得相应的加班费。工厂不得以调休为由拒绝支付法定假日的加班费。
建议：
- 如果工厂坚持不支付加班费，劳动者可以先与工厂进行协商，明确表达自己的权益和诉求。
- 如果协商无果，劳动者可以向当地的劳动监察部门投诉，寻求行政部门的帮助和支持。
- 劳动者还可以考虑通过法律途径维护自己的权益，如向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。