结论：您作为临时工，在工厂组长提出调岗要求后，未表达意见直接回家，这一行为可能构成擅自离职，具体后果需根据实际情况和工厂规定来判断。以下是从不同角度对这一问题的详细分析：
一、从劳动合同或用工协议的角度
若存在明确约定：
- 如果您与工厂之间签订了书面的劳动合同或用工协议，并且其中明确规定了工作岗位、调岗程序以及离职方式等条款，那么您应当遵守这些约定。
- 在此情况下，如果组长提出调岗要求符合合同或协议中的规定，而您未表达意见直接回家，可能被视为违反合同或协议，工厂有权依据合同或协议追究您的责任。
若无明确约定：
- 如果您与工厂之间没有签订书面的劳动合同或用工协议，或者合同、协议中没有明确规定调岗和离职的相关条款，那么情况会相对复杂。
- 在此情况下，您和工厂之间的权利义务关系可能更多地依赖于口头约定或行业惯例。然而，口头约定往往难以证明，且行业惯例也可能因地区、行业等因素而有所不同。
二、从工厂规章制度的角度
- 工厂通常会有自己的规章制度，其中可能包括对员工调岗、离职等方面的规定。
- 如果您作为临时工，在入职时已经了解并同意遵守这些规章制度，那么在组长提出调岗要求后，您未表达意见直接回家，可能被视为违反工厂规章制度。
- 工厂有权依据规章制度对您进行相应的处理，如警告、罚款、解除用工关系等。
三、从法律规定的角度
劳动关系解除：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动者解除劳动合同应当提前通知用人单位。对于临时工而言，虽然可能没有签订正式的劳动合同，但同样应当遵循这一基本原则。
- 您未表达意见直接回家，可能被视为未提前通知用人单位而擅自离职，这可能不符合法律规定的程序。
违法解除的后果：
- 如果您的行为被认定为违法解除劳动关系，工厂有权要求您承担因此造成的损失。
- 此外，如果您的行为给工厂造成了其他损害，如生产中断、客户流失等，工厂也可能要求您承担相应的赔偿责任。
四、建议与措施
与工厂沟通：
- 我建议您首先与工厂进行沟通，了解组长提出调岗的具体原因和工厂的相关规定。
- 通过沟通，您可以更好地了解自己的权利和义务，以及工厂对您的期望和要求。
表达意见和诉求：
- 如果您对调岗有异议或不愿意接受调岗，应当及时向工厂表达您的意见和诉求。
- 您可以提出自己的理由和依据，与工厂协商解决方案。
遵守规定和程序：
- 无论您最终是否接受调岗，都应当遵守工厂的规定和程序。
- 如果您决定离职，应当按照工厂的规定和法律规定的程序办理离职手续。
最后，我希望您能够认真对待这一问题，并采取相应的措施来维护自己的合法权益。如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询，我会尽力为您提供帮助。