结论：是否需要回去上班不能一概而论，需结合具体情况判断，主要看双方约定、公司规章制度以及实际履行情况等，以下分情况说明：

1. 若双方有明确约定

   • 如果在老板让你先休息时，双方就后续工作安排有明确的书面或口头约定，比如约定新人离职后你就必须回来上班，且这种约定不违反法律法规的强制性规定，那么从诚实信用和契约精神的角度出发，你应当按照约定回去上班。例如，双方通过邮件、微信等方式明确了这个安排，或者在公司内部有相关的流程记录表明你知晓并同意这样的安排。
   • 但如果约定中存在一些不合理的条款，比如要求你在极短时间内无条件返回，且不给予任何合理的准备时间或者补偿，这种情况下你可以对不合理部分提出异议，并与公司协商解决。如果协商不成，你可以依据相关法律规定维护自己的合法权益。

2. 若双方没有明确约定

   • 从公司规章制度角度：如果公司有完善的规章制度，其中对于员工离职期间的工作安排、返岗条件等有明确规定，且该规章制度是经过民主程序制定、公示并告知过你的，那么你需要遵守公司的规章制度。若规章制度规定在新人离职后你需要返岗，你就应当回去上班。
   • 从实际履行情况角度：如果之前老板让你休息，并没有明确说明休息的性质和后续安排，新人离职后公司突然要求你回去上班，你可以先与公司沟通了解要求返岗的具体原因和依据。如果公司无法给出合理的解释和依据，你可以根据实际情况决定是否返岗。例如，你在休息期间已经安排了其他重要事务，无法立即返岗，你可以与公司协商调整返岗时间；如果公司坚持要求你立即返岗，你可以考虑公司的要求是否合理合法，再做出决定。

3. 从劳动法律关系角度

   • 在整个过程中，要关注你的劳动法律关系是否发生变化。如果在你休息期间，公司没有与你解除劳动合同，那么你仍然是公司的员工，公司有权根据工作需要安排你工作。但公司的安排应当合理合法，不能侵犯你的合法权益。例如，公司不能因为安排你休息就随意降低你的工资待遇或者在返岗后给你安排不合理的工作任务。
   • 如果公司在你休息期间存在违法行为，比如拖欠工资、不缴纳社会保险等，你可以依据《劳动合同法》等相关法律规定，通过与公司协商、向劳动监察部门投诉或者申请劳动仲裁等方式维护自己的合法权益，在这种情况下，你也可以对公司不合理的要求返岗行为提出异议。

如果你在处理这个问题过程中遇到任何疑问或者需要进一步的帮助，可以直接向我咨询。