结论：工厂星期天上班你不去是否算旷工，这主要取决于工厂的工作制度、劳动合同的约定以及是否与你进行了协商。具体来说：
若星期天是法定或约定的休息日：
- 根据《中华人民共和国劳动法》第三十八条，用人单位应当保证劳动者每周至少休息一日。在常规的工作和休息安排中，星期天通常是劳动者的休息日。因此，如果星期天是你的休息日，你不去上班，不构成旷工。
若星期天被工厂安排为工作日：
- 有特殊工作安排并明确告知员工：如果工厂因生产经营需要，事先明确通知你星期天正常上班，并且这种安排符合法律法规（如给予调休或支付加班工资），那么你无正当理由不上班，可能会被认定为旷工。
- 劳动合同有特别约定：若劳动合同中明确约定星期天也属于正常工作时间，而你未按约定上班，同样可能被视为旷工。但这种情况下，工厂也需确保你的工作时间不超过法定标准，并支付相应的加班工资或提供调休。
关于旷工的认定与处理：
- 旷工通常指的是员工未经请假或批准，无故不按时到岗工作的行为。如果你因突发疾病、不可抗力等无法抗拒的原因无法到岗，且有正当理由和相应证明，一般不被视为旷工。
- 即使你被认定为旷工，工厂的处理也必须符合法律法规和依法制定的规章制度，不能随意进行不合理的处罚。
法律建议：
- 了解劳动合同和公司规章制度：在入职时，务必仔细阅读劳动合同和公司规章制度，了解自己的工作时间和休息休假安排。
- 与工厂协商沟通：如果工厂要求你在星期天上班，而你认为这不符合法律法规或劳动合同约定，可以与工厂进行协商沟通，寻求合理的解决方案。
- 保留相关证据：如果工厂未经协商单方面要求你星期天上班，或者对你的旷工认定存在争议，务必保留好相关证据（如工作安排通知、劳动合同、考勤记录等），以便在需要时维护自己的合法权益。
可能后果：
- 如果你被错误地认定为旷工，并因此受到不合理的处罚（如扣工资、解雇等），你可以根据相关法律法规和劳动合同约定，向工厂提出异议或申请劳动仲裁来维护自己的权益。
总之，工厂星期天上班你不去是否算旷工，需根据具体情况来判断。如果你有任何疑问或需要进一步的法律帮助，可以直接向我咨询。