在留置期间要求退赃的问题上，这通常涉及到贪污贿赂等刑事案件的处理。针对您提出的问题，我将结合相关法律法规和司法实践，为您详细解答。
首先，我们需要明确的是，在贪污贿赂案件中，退赃是犯罪嫌疑人或被告人应尽的义务，也是量刑时考虑的重要情节。根据《关于办理贪污贿赂刑事案件适用法律若干问题的解释(二)》等相关司法解释，犯罪分子具有全部退赃、积极配合办案机关追缴赃款赃物等情形的，可以认定为积极退赃，这有助于在量刑时获得从轻或减轻处罚。
针对您提到的留置期间要求退赃的具体情况，这通常发生在纪检监察机关或司法机关对犯罪嫌疑人采取留置措施后。在此期间，如果犯罪嫌疑人或其家属愿意退赃，应当积极配合办案机关的工作，按照要求将赃款赃物退缴至指定账户或由办案机关依法扣押。
在退赃过程中，有几个关键点需要注意：
退赃的及时性：犯罪嫌疑人或其家属应尽早退赃，以体现其认罪悔罪的态度，这有助于在后续的量刑和审判过程中获得更有利的结果。
退赃的完整性：应尽可能退缴全部赃款赃物，避免遗漏或隐瞒。如果确实存在部分赃款赃物无法退缴的情况，应向办案机关如实说明原因，并提供相关证据。
退赃的方式：退赃应通过合法途径进行，如将赃款存入办案机关指定的银行账户，或将赃物交由办案机关依法扣押。避免通过非法途径退赃，以免引发新的法律问题。
退赃后的处理：办案机关在收到退缴的赃款赃物后，会依法进行扣押、冻结或上缴国库等处理。对于犯罪嫌疑人或其家属来说，退赃后应保留好相关证据，如退赃凭证等，以备后续需要。
此外，针对您提到的行受贿双方分别退赃的情况，根据相关法律法规和司法实践，对于同一笔行受贿事实，不宜分别扣押行受贿双方主动退出的赃款。因为行贿与受贿属于对合犯罪，对于同一笔犯罪事实而言，行受贿双方权钱交易所涉及的财物既是行贿罪的犯罪对象也是受贿罪的犯罪对象。在受贿人将受贿款退给行贿人的情况下，应扣押行贿人主动退出的赃款，而对于受贿人已退还的赃款部分，则不再重复扣押。
最后，我建议您在留置期间积极配合办案机关的工作，如实交代犯罪事实，并尽早退赃以体现认罪悔罪的态度。同时，您也可以咨询专业律师以获取更具体的法律建议和帮助。