结论：不参加单位集体活动是否应该上班，这主要取决于单位的具体规定、活动的性质以及劳动合同或相关规章制度中的约定。以下是从不同角度进行的分析：
单位规定与活动性质：
- 如果单位有明确规定，集体活动属于正常工作的一部分（例如，团队建设活动被视为工作日的一部分，且不计入加班），那么员工不参加可能被视为缺勤，需要按照正常工作时间上班或面临相应的纪律处分。
- 如果活动是在非工作时间进行，且单位未明确要求员工必须参加，那么员工不参加并不影响其正常的工作安排，即他们仍应按照正常的工作时间上班。
劳动合同与规章制度：
- 劳动合同或单位规章制度中可能明确规定了员工对于集体活动的参与义务。如果合同或制度中有此类规定，员工不遵守可能构成违约，单位有权依据合同或制度进行处理。
- 如果劳动合同或规章制度中未提及集体活动的参与要求，那么员工有权自主决定是否参加，且不参加不应影响其正常的工作状态。
法律视角：
- 从法律角度来看，除非集体活动被明确纳入工作时间或劳动合同中有特别约定，否则员工不参加单位集体活动并不构成违法或违约行为。员工仍应按照劳动合同约定的工作时间和地点履行工作职责。
- 如果单位因员工不参加集体活动而采取不合理的处罚措施（如扣减工资、解除劳动合同等），员工有权依法维护自己的合法权益，包括向劳动监察部门投诉或提起劳动仲裁。
建议：
- 对于员工而言，在决定是否参加单位集体活动前，应仔细阅读劳动合同和单位规章制度，了解自己的权利和义务。
- 如果对单位的规定或活动性质有疑问，建议与单位的人力资源部门或直接上级进行沟通，以明确自己的立场和责任。
- 如果单位因员工不参加集体活动而采取不合理的处罚措施，员工应保留相关证据，并及时咨询专业律师以维护自己的合法权益。
可能的法律后果：
- 如果员工不参加单位明确要求的集体活动，且该活动被视为正常工作的一部分，员工可能面临缺勤、纪律处分甚至解除劳动合同的风险。
- 如果单位因员工不参加集体活动而采取违法或违约的处罚措施，员工有权要求单位承担相应的法律责任，包括赔偿损失等。
总之，不参加单位集体活动是否应该上班，需根据具体情况来判断。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。