留置调查结束后，退赃款的过程需要遵循一定的法律程序。首先，我们要明确的是，留置调查通常涉及的是公职人员的职务犯罪案件，这类案件中的赃款处理有其特殊性。

在监察体制改革后，对于涉嫌贪污等职务犯罪所得的财物，监察机关在调查结束后会随案移送司法机关。这意味着，赃款并不会在调查期间直接退还给被害单位或个人，而是需要通过司法程序来处理。

具体来说，当监察机关完成调查后，会将案件及相关财物移送至人民检察院。人民检察院会依法对案件进行审查，并可能向人民法院提起公诉。在刑事诉讼过程中，对于经查证属于违法所得及其他涉案财产，人民法院会依法作出处理，包括没收、追缴或责令退赔等。

如果被害单位或个人希望获得退赃，他们可以在刑事诉讼过程中向司法机关提出申请。司法机关会根据案件具体情况和法律规定，决定是否将赃款退还给被害单位或个人。

此外，还需要注意的是，如果被调查人在调查期间死亡或逃往境外，监察机关也会依法处理其违法所得。对于死亡的情况，监察机关会提请人民检察院向人民法院提出没收违法所得的申请；对于逃往境外的情况，监察机关可以启动国际追逃追赃程序，或者通过其他法律手段来追回赃款。

综上所述，留置调查结束后退赃款的过程需要遵循法律程序，并通过司法机关来处理。被害单位或个人可以向司法机关提出申请，但具体退赃情况还需根据案件具体情况和法律规定来决定。