结论：工厂因正式员工做事慢而让其休息，并叫回临时工来替代，这一行为是否合法，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：
劳动合同与岗位安排
- 法律背景：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者建立劳动关系后，应当按照劳动合同的约定，为劳动者提供劳动条件，并安排劳动者在相应的岗位上工作。同时，用人单位也有权根据生产经营的需要，对劳动者的工作岗位进行合理调整，但应遵循合法、合理、公平的原则，并不得损害劳动者的合法权益。
- 分析：如果工厂因正式员工做事慢而直接让其休息，并叫回临时工来替代，且未与正式员工进行协商或未给予合理的解释和安排，这一行为可能构成对劳动合同的违反，侵犯了正式员工的合法权益。因为正式员工与工厂之间存在劳动合同关系，工厂应按照合同约定为正式员工提供工作机会和劳动条件。
临时工与正式员工的区别
- 法律背景：临时工和正式员工在法律地位上并无本质区别，都享有劳动法规定的各项权利。临时工通常指的是与用人单位建立短期或临时性劳动关系的劳动者，而正式员工则是指与用人单位建立长期或稳定性劳动关系的劳动者。但无论哪种身份，劳动者都应受到平等对待，不得因身份差异而受到歧视或不合理对待。
- 分析：如果工厂仅因正式员工做事慢就将其替换为临时工，且未对正式员工进行任何培训、指导或调整工作岗位等合理措施，这一行为可能构成对正式员工的不公平对待，违反了劳动法的平等原则。
工厂的合理调整权
- 法律背景：虽然用人单位有权根据生产经营的需要对劳动者的工作岗位进行合理调整，但这种调整必须基于合理的理由，并遵循一定的程序。例如，用人单位应与劳动者进行协商，听取劳动者的意见，并在调整前给予劳动者充分的通知和解释。
- 分析：如果工厂认为正式员工做事慢影响了生产效率，可以尝试与正式员工进行沟通，了解其工作困难或提供必要的培训和支持。如果经过沟通后仍无法解决问题，工厂可以考虑对正式员工的工作岗位进行调整或采取其他合理措施。但直接让正式员工休息并叫回临时工来替代，可能并非最合理的解决方案。
建议：
- 对于工厂而言，应首先与正式员工进行沟通，了解其工作状况，并尝试提供必要的培训和支持以提高其工作效率。如果确实需要调整工作岗位或采取其他措施，应遵循合法、合理、公平的原则，并与劳动者进行充分协商。
- 对于正式员工而言，如果认为工厂的行为侵犯了其合法权益，可以与工厂进行协商或向劳动监察部门投诉。必要时，也可以寻求法律援助或提起劳动争议仲裁或诉讼来维护自己的权益。
可能后果：
- 如果工厂的行为被认定为违法或不合理，可能面临劳动监察部门的处罚或劳动争议仲裁机构的裁决，要求其恢复正式员工的工作岗位或给予相应的赔偿。
- 对于正式员工而言，如果其权益得到维护，将能够继续在工厂工作并享受相应的劳动待遇；如果其权益未得到维护，则可能需要通过法律途径来寻求救济。