结论：工厂安排白班人员上班而不让夜班人员上班，这一行为是否违法不能一概而论，需要结合具体情况来判断。
分析角度一：劳动合同与工厂规章制度
劳动合同约定：首先，要查看劳动合同中是否有关于工作班次、工作时间以及调休、轮休等相关条款。如果劳动合同中明确规定了夜班人员的工作时间和班次，而工厂未经夜班人员同意擅自改变，则可能构成违约。
工厂规章制度：其次，工厂的规章制度也是判断这一行为是否合法的重要依据。如果工厂规章制度中规定了工作班次的安排、调休或轮休的规则，并且这些规则是合法、合理且经过民主程序制定的，那么工厂在遵循这些规则的前提下进行班次调整，可能是合法的。但如果规章制度本身违法或未经民主程序制定，或者工厂未按照规章制度执行，则可能构成违法。
分析角度二：劳动法相关规定
工作时间与休息休假：根据《中华人民共和国劳动法》的相关规定，劳动者有享受休息休假的权利。工厂在安排工作时，应当保证劳动者有足够的休息时间，避免过度劳累。如果工厂因为生产需要而调整班次，但未能保证夜班人员得到足够的休息，或者调整班次的方式违反了劳动法的相关规定（如未经劳动者同意擅自延长工作时间等），则可能构成违法。
平等对待原则：劳动法还规定了劳动者享有平等就业和选择职业的权利，以及取得劳动报酬的权利等。如果工厂在安排工作时存在歧视性做法，如只让白班人员上班而不让夜班人员上班，且这种安排并非基于生产需要或合理原因，而是出于对夜班人员的歧视或偏见，那么这种行为可能违反了劳动法的平等对待原则。
分析角度三：特殊情况下的合法性
紧急情况或生产需要：在某些特殊情况下，如紧急生产任务、设备故障等，工厂可能需要临时调整班次以确保生产的连续性和安全性。在这种情况下，如果工厂能够证明调整班次是出于必要且合理的考虑，并且已经采取了必要的措施来保障夜班人员的权益（如提供调休、加班费等），那么这种行为可能是合法的。
与劳动者协商一致：如果工厂在调整班次前已经与夜班人员进行了充分的协商，并取得了他们的同意，那么这种行为也是合法的。因为劳动者有权根据自己的意愿选择是否接受班次的调整。
建议：
总结：工厂安排白班人员上班而不让夜班人员上班的行为是否违法，需要根据具体情况来判断。如果这一行为违反了劳动合同、工厂规章制度或劳动法的相关规定，或者存在歧视性做法，那么夜班人员有权维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。