结论：在此情况下，一般难以直接认定为欺诈，但可能涉及合同违约或缔约过失责任，具体需结合实际情况判断。以下从不同角度进行分析：
一、关于欺诈的认定
欺诈的构成要件：
- 欺诈方需具有欺诈的故意，即明知自己的行为会使对方陷入错误认识，并希望或放任这种结果发生。
- 欺诈方需实施了欺诈行为，即通过虚构事实或隐瞒真相的方式，使对方产生错误认识。
- 被欺诈方需因欺诈行为而陷入了错误认识，并基于这种错误认识作出了意思表示（如签订合同）。
- 被欺诈方的意思表示与欺诈行为之间需存在因果关系。
本案情况分析：
- 在您描述的情况下，顾客与工厂之间并未签订书面合同，仅存在口头约定。若工厂在口头答应时并无欺诈的故意，即并非故意虚构能够制作特定材质家具的事实以诱使顾客下单，而是后来因实际原因（如原材料短缺、技术难题等）无法履行，则一般不构成欺诈。
- 若工厂在口头答应时明知自己无法制作特定材质的家具，却故意隐瞒这一事实，以诱使顾客下单，则可能构成欺诈。但这种情况需要顾客提供充分证据证明工厂的欺诈故意，这在实践中往往较为困难。
二、关于合同违约或缔约过失责任
合同违约：
- 虽然双方未签订书面合同，但口头约定在法律上同样具有效力。若工厂在口头答应后无正当理由拒绝履行，则可能构成违约。
- 顾客可以要求工厂承担违约责任，如赔偿因违约造成的损失等。但同样，顾客需要提供证据证明双方存在口头约定以及工厂违约的事实。
缔约过失责任：
- 在合同订立过程中，若一方因违背诚实信用原则的行为给对方造成损失，应承担缔约过失责任。
- 若工厂在口头答应后，因自身原因（如未尽到合理审查义务、未及时告知无法履行等）导致顾客产生合理信赖并因此遭受损失，则工厂可能需承担缔约过失责任。
三、建议与措施
收集证据：
- 顾客应尽可能收集与口头约定相关的证据，如聊天记录、录音、证人证言等，以证明双方存在约定以及工厂违约或存在缔约过失的事实。
协商与调解：
- 在证据充分的情况下，顾客可以尝试与工厂进行协商或寻求第三方调解，以达成和解协议并解决纠纷。
法律途径：
- 若协商和调解无果，顾客可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁等。在此过程中，顾客需要咨询专业律师以制定合适的诉讼策略并准备充分的证据材料。
总结：虽然在此情况下难以直接认定为欺诈，但顾客仍有可能通过证明工厂违约或存在缔约过失来维护自己的合法权益。因此，建议您收集相关证据并咨询专业律师以获取更具体的法律建议。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。