结论：工厂端午节不放假，您不可以直接拒绝上班，但可以根据具体情况采取相应措施来维护自己的合法权益。
分析说明：
法定节假日的法律规定：
- 根据《中华人民共和国劳动法》的相关规定，劳动者在法定节假日享有休息的权利。端午节作为法定节假日，劳动者本应享有休息日。然而，法律也允许用人单位在特定情况下安排劳动者在法定节假日工作，但需支付相应的加班费。
直接拒绝上班的法律后果：
- 如果您直接拒绝在端午节上班，且没有合理的理由（如生病、家庭紧急情况等），这可能构成旷工。旷工是违反用人单位规章制度的行为，用人单位有权根据规章制度对您进行处罚，包括但不限于警告、罚款、甚至解除劳动合同。
应对策略：
- 与用人单位协商：首先，您可以尝试与用人单位协商，表达您希望在端午节休息的意愿。如果用人单位同意，那么问题就得到了解决。
- 要求支付加班费：如果用人单位坚持要求您在端午节上班，那么您有权要求用人单位按照法律规定支付加班费。根据《劳动法》的规定，法定节假日加班的，用人单位应当支付不低于工资的百分之三百的工资报酬。
- 向劳动监察部门投诉：如果用人单位既不安排休息也不支付加班费，您可以向当地的劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行查处，并保护您的合法权益。
特殊场景：
- 如果用人单位未提前通知：如果用人单位在端午节前未提前通知您需要加班，这可能违反了用人单位的规章制度或劳动合同中的相关条款。在这种情况下，您更有理由要求用人单位支付加班费或安排补休。
- 如果加班时间过长：即使用人单位支付了加班费，如果加班时间过长，也可能违反了《劳动法》中关于工作时间和休息休假的规定。在这种情况下，您可以向劳动监察部门投诉，并要求用人单位调整工作时间或安排补休。
行动建议：
- 保留证据：无论您采取哪种措施，都请务必保留好相关证据，如加班通知、工资条、与用人单位的沟通记录等。这些证据将在您维护自己合法权益时发挥重要作用。
- 及时咨询：如果您对如何处理这个问题感到困惑或不确定，可以随时向我咨询。作为专业律师，我将根据您的具体情况提供有针对性的法律建议。
后续思考依据：
- 在处理此类问题时，您需要综合考虑法律规定、用人单位的规章制度以及您的个人情况。不同的用人单位可能有不同的规章制度和加班政策，因此您需要根据具体情况采取相应的措施。
- 同时，您也需要了解自己的权利和义务，以便在维护自己合法权益的同时，不违反法律规定或用人单位的规章制度。