结论：工伤生病期间接到单位返岗通知书不去，是否算旷工不能一概而论，需结合具体情况判断。以下从不同角度进行分析：
医疗期内的情形
- 法律背景：根据《工伤保险条例》及相关规定，职工因工作遭受事故伤害或者患职业病需要暂停工作接受工伤医疗的，在停工留薪期内，原工资福利待遇不变，由所在单位按月支付。停工留薪期一般不超过12个月，伤情严重或者情况特殊，经设区的市级劳动能力鉴定委员会确认，可以适当延长，但延长不得超过12个月。
- 分析：若您仍处于停工留薪期内，且医生出具了需要继续休息的证明，那么您有权拒绝返岗，此时不去上班不算旷工。单位若因此认定您旷工并采取相应措施，可能构成违法。
医疗期满后的情形
- 法律背景：停工留薪期满后，职工应当返回工作岗位继续工作。如果职工因伤情无法从事原工作，单位应当根据职工的身体状况安排适当的工作。若职工拒绝单位合理的工作安排，且没有正当理由，单位可能依据规章制度认定其旷工。
- 分析：若您的停工留薪期已满，且医生认为您已经可以恢复工作，但您仍拒绝返岗，且没有合理的理由（如伤情未完全恢复、单位未提供适当工作等），那么单位可能认定您旷工，并依据规章制度进行处理。
单位返岗通知的合理性
- 分析：即使停工留薪期已满，单位发出的返岗通知也应当合理。例如，如果单位要求您立即返回原岗位从事重体力劳动，而您的伤情尚未完全恢复，无法胜任该工作，那么您有权拒绝返岗，并要求单位提供适当的工作。此时，不去上班不算旷工。
法律建议：
- 保留证据：无论您处于哪种情况，都建议保留好医生出具的病假证明、停工留薪期通知、单位返岗通知等相关证据，以备不时之需。
- 与单位沟通：在收到返岗通知后，建议您及时与单位沟通，说明自己的身体状况和无法返岗的原因，争取单位的理解和支持。
- 寻求法律帮助：如果单位因此认定您旷工并采取相应措施（如扣发工资、解除劳动合同等），您认为单位的做法违法或不合理，可以及时向我咨询，我会根据您的具体情况提供法律帮助。
可能的法律后果：
- 如果单位违法认定您旷工并采取相应措施，您可能面临工资被扣发、劳动合同被解除等不利后果。但您有权通过法律途径维护自己的合法权益，如申请劳动仲裁、提起诉讼等。