结论：不可以直接不上班，是否需要上班取决于单位后续行为及双方沟通情况，以下从不同角度为你详细分析。

从解除劳动合同书效力角度分析

单位出具了解除劳动合同书并盖章，这一行为在形式上表明单位有解除劳动合同的意思表示。但之后又撕毁该文件，使得这份原本可能生效的解除文件在形式上存在瑕疵。如果单位只是撕毁文件，但并没有通过其他合法有效的方式（如书面通知、邮件等正式途径）明确表示撤销解除劳动合同的决定，那么从法律严谨性角度，不能简单认定解除行为无效。不过，仅撕毁文件这一行为本身，也不能直接认定劳动合同就已经合法解除。在这种情况下，如果单位没有进一步明确要求你不用上班，你直接不上班，可能会被单位认定为旷工。旷工达到一定天数，单位可能依据规章制度合法解除劳动合同，且无需支付经济补偿，这对你是不利的。

从单位实际意图角度分析

单位撕毁解除劳动合同书让你回去上班，有可能是单位意识到解除行为存在不当或错误，所以改变主意希望你继续履行劳动合同。此时，如果你不上班，就违背了单位的合理要求。单位可能会以你不服从工作安排、违反公司规章制度等理由对你进行处理。例如，单位规章制度中明确规定员工无正当理由拒绝工作安排属于严重违纪行为，单位可以据此解除劳动合同且无需支付赔偿。

从后续沟通与证据保留角度分析

1. 积极沟通：建议你主动与单位进行沟通，要求单位出具书面的、明确的关于撤销解除劳动合同决定以及要求你继续上班的通知。这样既可以明确双方的权利义务关系，也能避免后续可能出现的纠纷。在沟通时，尽量采用书面形式（如邮件、微信等），保留好沟通记录，以便在发生争议时作为证据使用。
2. 正常上班：在未与单位达成明确一致意见，且没有合法有效的解除劳动合同证明的情况下，建议你先按照单位要求正常上班。这可以避免被单位抓住“旷工”等把柄，保障自己的合法权益。如果单位后续仍然存在违法解除等行为，你可以依据相关法律法规主张自己的权利，如要求单位支付违法解除劳动合同的赔偿金等。赔偿金的计算公式为：赔偿金 = 工作年限 × 月工资 × 2（工作年限满六个月不满一年的按一年计算，不满六个月的支付半个月工资；月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资）。

总之，在目前这种情况下，不要直接选择不上班，要通过积极沟通和保留证据等方式，维护自己的合法权益。如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。