工厂加班用人不轮流，这违反了我国劳动法中关于劳动者工作时间和休息休假的规定，劳动者有权要求工厂进行合理安排或采取相应措施维护自身权益。以下从多个角度进行分析和建议：
法律角度：
- 根据《中华人民共和国劳动法》的相关规定，劳动者每日工作时间不超过八小时、平均每周工作时间不超过四十四小时。用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。
- 如果工厂加班用人不轮流，导致部分劳动者长时间加班，而其他劳动者则加班较少或不加班，这可能构成对劳动者休息权的侵犯，也违反了劳动法中关于加班时间的规定。
劳动者权益保护角度：
- 劳动者有权拒绝违法超时加班安排。如果工厂要求劳动者长时间加班且不轮流，劳动者可以明确表示拒绝，并要求工厂按照法律规定安排加班和休息。
- 劳动者可以向工厂提出书面或口头的异议，要求工厂改善加班制度，确保加班的公平性和合理性。
- 如果工厂拒绝改正，劳动者可以向当地劳动监察部门投诉，寻求政府部门的帮助和支持。
实际操作建议角度：
- 劳动者可以与其他受影响的同事联合起来，共同向工厂提出改善加班制度的建议或要求。集体行动往往更能引起工厂的重视和回应。
- 在与工厂沟通时，劳动者可以保留好相关证据，如加班记录、工资单等，以便在需要时证明自己的权益受到了侵犯。
- 如果工厂的行为严重违反了劳动法规定，且劳动者与工厂协商无果，劳动者还可以考虑通过法律途径维护自己的权益，如申请劳动仲裁或提起诉讼。
针对此情况，我建议劳动者首先与工厂进行友好沟通，明确表达自己的诉求和担忧。如果沟通无果，再考虑采取更进一步的措施来维护自己的合法权益。如果您在处理此类问题时遇到任何法律难题或需要进一步的法律帮助，请随时向我咨询。