责令退款通知书并不必然需要在案件终结报告之后发出，其发出时间主要取决于案件的具体情况、相关法律法规的规定以及执法机关或司法机关的判断。以下从不同角度为你详细分析：

一、法律法规依据

在法律法规层面，并没有明确规定责令退款通知书必须在案件终结报告之后发出。责令退款通知书通常是执法机关或司法机关在调查过程中，发现当事人存在违法行为，且该行为导致他人财产损失或不当得利时，依法要求当事人退还非法所得或赔偿损失的一种法律文书。其发出时间主要取决于案件调查的进展和证据的充分性。

二、案件具体情况

1. 案件复杂程度：如果案件较为简单，事实清楚，证据充分，执法机关或司法机关可能在调查初期就能确定当事人的违法行为，并依法发出责令退款通知书。相反，如果案件复杂，涉及多个当事人、多个法律关系或需要进一步调查取证，那么责令退款通知书的发出时间可能会相对较晚，甚至可能在案件终结报告之后。
2. 当事人配合程度：如果当事人积极配合调查，主动承认错误并愿意退还非法所得，执法机关或司法机关可能会根据当事人的配合情况，提前发出责令退款通知书。如果当事人拒不配合，甚至逃避调查，那么责令退款通知书的发出时间可能会受到一定影响。

三、执法或司法实践

在实际执法或司法实践中，责令退款通知书的发出时间也具有一定的灵活性。执法机关或司法机关会根据案件的具体情况、法律法规的规定以及执法或司法实践的经验，综合判断何时发出责令退款通知书最为合适。例如，在某些情况下，为了尽快保护受害人的合法权益，执法机关或司法机关可能会在调查过程中就发出责令退款通知书，要求当事人立即退还非法所得。

四、建议与注意事项

1. 及时咨询专业律师：如果你或你所在的组织收到了责令退款通知书，或者你认为自己有权要求他人退还非法所得，建议及时咨询专业律师，了解相关法律法规的规定和执法或司法实践的经验，以便更好地维护自己的合法权益。
2. 保留相关证据：在涉及责令退款通知书的案件中，证据的充分性至关重要。因此，建议保留好与案件相关的所有证据，包括合同、交易记录、通信记录等，以便在需要时提供给执法机关或司法机关。
3. 积极配合调查：如果执法机关或司法机关要求你配合调查或提供相关信息，建议积极配合，以便尽快查明事实真相，维护自己的合法权益。

如果你有具体的案件情况或需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律意见。