结论：工厂只想要临时工而拒绝给正式工工作安排，这种做法可能涉及违法用工和违反劳动合同的问题，正式工可以通过多种途径来维护自己的合法权益。
分析：
劳动合同的角度：
- 根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者建立劳动关系，应当订立书面劳动合同。劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。
- 如果工厂与正式工已经签订了劳动合同，那么工厂就有义务按照合同约定为正式工提供工作条件和劳动报酬。工厂拒绝给正式工安排工作，可能构成违约行为，正式工有权要求工厂继续履行合同或承担违约责任。
劳动权益的角度：
- 劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利等。工厂只想要临时工而拒绝给正式工工作安排，可能侵犯了正式工的平等就业权和取得劳动报酬的权利。
- 正式工可以向劳动监察部门投诉，要求劳动监察部门对工厂的违法行为进行查处，并责令工厂改正。
劳动争议解决的角度：
- 如果工厂与正式工之间因工作安排问题发生争议，双方可以首先尝试通过协商解决。协商不成的，可以向劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁。
- 对仲裁裁决不服的，正式工还可以向人民法院提起诉讼，通过司法途径来维护自己的合法权益。
建议：
- 保留证据：正式工应保留好与工厂签订的劳动合同、工作记录、工资单等证据，以便在需要时证明自己的权益。
- 及时沟通：正式工可以尝试与工厂进行沟通，了解工厂拒绝安排工作的具体原因，并尝试协商解决方案。
- 寻求帮助：如果沟通无果，正式工可以向当地的劳动监察部门、劳动争议调解委员会或劳动争议仲裁委员会寻求帮助，或者咨询专业律师（如我）以获取更具体的法律建议。
可能后果：
- 如果工厂被查实存在违法用工行为，可能会面临劳动监察部门的处罚，包括罚款、责令改正等。
- 正式工如果通过法律途径维护自己的权益，并成功获得支持，工厂可能需要承担违约责任或赔偿责任，包括支付工资、经济补偿金等。
总之，工厂只想要临时工而拒绝给正式工工作安排的做法是不合法的，正式工有权通过多种途径来维护自己的合法权益。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。