针对工厂随意调班的问题，您可以采取以下步骤来维护自己的权益：

首先，与工厂管理层进行沟通。您可以向管理层明确表达对于随意调班的不满，并指出这种行为对您的生活和工作节奏造成了影响。在沟通过程中，建议您保持冷静和理性，同时保留好相关的聊天记录或书面记录作为证据。如果工厂有工会的话，您也可以向工会反映情况，寻求工会的帮助和支持，让其介入调解。

其次，寻求内部调解。如果与管理层的沟通没有取得满意的结果，您可以尝试寻找企业内部的劳动争议调解委员会或其他相关组织进行调解。这些组织通常具有处理员工与工厂之间纠纷的经验，能够为您提供更具体的解决方案。

如果上述方法都无法解决问题，您可以向当地劳动监察部门投诉。劳动监察部门是负责监督劳动法律法规执行的机构，他们会依法对工厂的调班行为进行审查，并给出相应的处理意见。在投诉时，请提供详细的证据材料，以便劳动监察部门能够更好地了解您的情况。

最后，申请劳动仲裁。如果经过上述步骤后问题仍然无法得到解决，您可以考虑收集充分的证据，向当地的劳动仲裁委员会申请仲裁。在申请仲裁时，您需要明确列出工厂的违法行为以及您的诉求，如要求工厂恢复合理的工作安排或赔偿相应的损失等。

总之，面对工厂随意调班的问题，您应该积极采取行动来维护自己的合法权益。通过与工厂沟通、寻求内部调解、向劳动监察部门投诉以及申请劳动仲裁等途径，您可以有效地解决这一问题。同时，也建议您在日常工作中注意保留相关证据，以便在需要时能够证明自己的权益。