结论：单位辞退但尚未发放解除通知时，是否需要继续待在公司需分情况讨论，主要取决于单位是否已明确作出辞退决定并通知到您本人，以及您是否已收到正式的辞退文件或通知。
情况一：单位已明确作出辞退决定，但尚未发放书面解除通知
法律背景：
- 根据《劳动合同法》的相关规定，用人单位解除劳动合同应当出具解除劳动合同的证明，并在十五日内为劳动者办理档案和社会保险关系转移手续。然而，法律并未明确规定解除通知必须以书面形式即时送达，但实践中，书面通知是更为规范和常见的做法。
您的权益：
- 如果单位已经口头或通过其他方式明确告知您被辞退，即使尚未发放书面解除通知，您也有权要求单位尽快出具书面证明。
- 在此期间，如果单位继续安排您工作，您有权拒绝，因为双方劳动关系已因辞退决定而终止（尽管尚未以书面形式确认）。但出于谨慎考虑，建议您与单位沟通确认辞退事宜，并保留好相关证据（如录音、聊天记录等）。
建议行动：
- 与单位人力资源部门或直接上级沟通，要求尽快出具书面解除通知。
- 如果单位拒绝或拖延，您可以考虑向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
情况二：单位尚未明确作出辞退决定，或您尚未收到任何辞退信息
法律背景：
- 在单位未明确作出辞退决定或您未收到任何辞退信息的情况下，您与单位的劳动关系仍然存续。
您的权益：
- 您有权继续享受劳动合同约定的各项权益，包括工资、福利等。
- 如果单位无故要求您离职或停职，您有权拒绝，并要求单位提供合理的解释和依据。
建议行动：
- 继续正常出勤和工作，遵守单位规章制度。
- 如果单位有任何异常行为或要求，及时与单位沟通并保留好相关证据。
- 如果单位最终作出辞退决定，您有权要求单位按照法律规定支付经济补偿金等费用。
额外提醒
- 保留证据：无论哪种情况，都建议您保留好与单位的沟通记录、工作记录等相关证据，以备不时之需。
- 及时咨询：如果您对单位的辞退决定或相关处理有疑问或不满，建议及时向我咨询，以便更好地维护自己的合法权益。
总之，是否需要继续待在公司取决于单位是否已明确作出辞退决定并通知到您本人。如果已明确辞退，您可以要求单位尽快出具书面证明；如果尚未明确或未收到通知，则应继续正常工作并保留好相关证据。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。