结论：面对不接受调岗后工厂组长不安排工作的情况，你可以从以下几个角度来应对：首先明确调岗的合法性，再根据不同情况采取相应措施，包括与工厂协商、向劳动监察部门投诉或申请劳动仲裁。

详细分析：

1. 调岗的合法性判断：

   • 劳动合同约定：首先，你需要查看劳动合同中是否有关于调岗的约定。如果合同中有明确规定，且调岗符合合同约定，那么工厂的调岗行为可能是合法的。
   • 生产经营需要：即使合同中没有明确约定，如果工厂因生产经营需要，且调岗不具有侮辱性、惩罚性，同时工资待遇等劳动条件没有发生不利变更，那么调岗也可能被视为合法。
   • 协商一致：调岗应当基于双方协商一致的原则。如果工厂未经你同意擅自调岗，且不符合上述合法调岗的情形，那么调岗行为可能是违法的。

2. 不安排工作的应对措施：

   • 与工厂协商：如果认为调岗不合法或不合理，你可以首先与工厂进行协商，表达自己的意见和诉求，寻求双方都能接受的解决方案。
   • 向劳动监察部门投诉：如果协商无果，你可以向当地的劳动监察部门投诉，反映工厂不安排工作的情况，并请求劳动监察部门进行调查和处理。
   • 申请劳动仲裁：如果劳动监察部门的处理未能满足你的诉求，或者工厂拒绝接受劳动监察部门的处理，你可以向劳动仲裁委员会申请劳动仲裁，要求工厂恢复你的工作或支付相应的经济补偿。

3. 可能面临的法律后果：

   • 如果调岗合法：如果调岗被认定为合法，且你拒绝接受调岗，工厂可能会以你违反公司规章制度为由解除劳动合同，且可能无需支付经济补偿。但这种情况下，工厂需要证明调岗的合法性和合理性，以及你拒绝调岗的行为确实违反了公司规章制度。
   • 如果调岗不合法：如果调岗被认定为不合法，工厂不安排工作的行为可能构成违法解除劳动合同或未提供劳动条件，你有权要求工厂恢复工作、支付工资差额或经济补偿等。

建议与行动：

• 收集证据：在采取任何行动之前，建议你收集相关证据，包括劳动合同、调岗通知、与工厂的沟通记录等，以证明你的主张和工厂的行为。
• 咨询专业意见：由于劳动法律问题可能涉及复杂的法律条款和实际情况，建议你咨询专业律师（即我本人，李海山律师，专注于劳动纠纷等领域）的意见，以便更准确地判断调岗的合法性，并制定合适的应对策略。
• 及时行动：劳动纠纷的处理有时效性要求，建议你及时采取行动，以免错过维权时机。

如果你有任何进一步的疑问或需要具体的法律帮助，请直接向我咨询。