关于工厂安排上夜班是否可以不上这个问题，这并非一个简单的“可以”或“不可以”的答案，而是需要根据具体情况，结合劳动合同的约定以及相关法律法规来综合判断。

首先，我们要查看劳动合同中的具体约定。如果劳动合同中明确写明了您需要上夜班，并且这一约定并不违反法律法规的强制性规定，那么从合同的角度来看，您通常是需要履行这一义务的，也就是说，在这种情况下，您可能不能直接拒绝上夜班。

然而，如果劳动合同中没有明确约定需要上夜班，或者原本约定的是白天工作，而工厂突然要求您上夜班，这通常被视为对劳动合同内容的变更。根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者协商一致才能变更劳动合同约定的内容。因此，在这种情况下，您有权拒绝工厂的夜班安排，除非工厂能够与您达成一致意见。

另外，我们还需要考虑相关法律法规对工时和加班的规定。根据《中华人民共和国劳动法》的规定，国家实行劳动者每日工作时间不超过八小时、平均每周工作时间不超过四十四小时的工时制度。如果夜班安排导致您的工作时间超出这一限制，并且工厂不能保证您合理的休息时间，那么您有权拒绝上夜班。同样地，如果工厂要求您上夜班属于加班，并且未经与您协商或者超过了法定的加班时间限制，您也有权拒绝。

当然，也存在一些特殊情况。比如，在发生自然灾害、事故等紧急情况下，或者生产设备、交通运输线路、公共设施发生故障必须及时抢修时，延长工作时间可能不受法定工时制度的限制。在这些特殊情况下，您可能需要服从工厂的夜班安排。

此外，还有一些其他因素也需要考虑。比如，如果您从事的是特定职业或行业，如医疗行业等，可能会要求您轮流参与夜班工作。在这种情况下，您的夜班工作安排应该在劳动合同中予以明确规定，并且应该征得您的同意。另外，如果您因健康等原因不能胜任夜班工作，工厂应该尽力调整工作安排或提供适当的便利措施。

综上所述，工厂安排上夜班是否可以不上，并没有一个固定的答案。它取决于劳动合同的约定、相关法律法规的规定以及其他相关因素。在一般情况下，如果夜班安排违反了法律规定或未经协商一致变更劳动合同内容，您有权拒绝；但在特殊紧急情况下或基于特定职业要求时，您可能需要服从工厂的夜班安排。如果您对此有疑问或需要进一步的帮助，建议您咨询专业的法律人士或劳动监察部门。