结论：工厂星期六星期天正常生产时，员工是否可以拒绝上班，需根据具体情况判断，主要取决于劳动合同、公司规章制度以及加班的合法性等因素。以下从不同角度进行分析：
一、劳动合同与规章制度
劳动合同约定：
- 如果劳动合同中明确规定了工作时间，包括周末是否需要工作，那么员工应当按照合同约定履行义务。若合同中未明确规定周末需工作，而工厂却要求员工周末上班，员工有权拒绝，除非工厂能证明这是出于生产经营的紧急需要，并且与员工进行了协商。
公司规章制度：
- 公司规章制度若经过民主程序制定，且内容合法、合理，对员工具有约束力。如果规章制度中规定了周末需要上班，且员工已经知晓并同意，那么员工应当遵守。但规章制度不得违反法律法规的强制性规定，如不得违反《劳动法》关于加班时间、加班工资等规定。
二、加班的合法性
加班时间限制：
- 根据《劳动法》的规定，用人单位由于生产经营需要，经与工会和劳动者协商后可以延长工作时间，一般每日不得超过一小时；因特殊原因需要延长工作时间的，在保障劳动者身体健康的条件下延长工作时间每日不得超过三小时，但是每月不得超过三十六小时。如果工厂要求员工周末上班的时间超过了法定加班时间限制，员工有权拒绝。
加班工资支付：
- 工厂安排员工周末加班的，应当按照国家规定支付加班工资。如果工厂未支付加班工资或者支付的加班工资低于法定标准，员工有权拒绝加班，并可以向劳动监察部门投诉。
三、特殊情况下的拒绝权
员工身体原因：
- 如果员工因身体原因（如疾病、怀孕等）无法承受周末加班的工作强度，有权向工厂说明情况并拒绝加班。工厂应当予以理解和支持，并安排其他员工替代或者调整工作计划。
家庭原因：
- 在某些特殊情况下，如员工需要照顾家庭成员（如老人、小孩等），且无法找到其他合适的照顾方式时，员工也有权向工厂说明情况并请求调整工作时间或者拒绝加班。工厂应当根据实际情况予以考虑和安排。
四、法律建议
- 与工厂协商：如果员工对周末上班有异议，首先应当与工厂进行协商，表达自己的诉求和理由。通过协商，双方可以达成共识并找到合理的解决方案。
- 保留证据：如果工厂强制要求员工周末上班且违反了法律法规或者劳动合同约定，员工应当保留相关证据（如加班通知、工资条等），以便在需要时向劳动监察部门投诉或者提起劳动仲裁。
- 寻求法律援助：如果员工在处理此类问题时遇到困难或者需要法律帮助，可以直接向我咨询，我会根据具体情况提供专业的法律建议和帮助。
总结：工厂星期六星期天正常生产时，员工是否可以拒绝上班需根据具体情况判断。员工应当了解自己的权益和义务，并在必要时采取合适的措施维护自己的合法权益。如果有任何疑问或者需要法律帮助，请随时向我咨询。