被留置人员家属被要求退赃退赔时，应首先核实退赃要求是否合法，并按照法律程序配合处理。以下是对此问题的详细分析：

一. 核实退赃要求的合法性

1. 法律依据：根据《中华人民共和国刑法（2023修正）》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这表明，退赃退赔是有法律依据的，但前提是必须确保该要求是由合法的执法机关提出，且针对的是确实存在的违法所得。
2. 核实方式：家属可以通过与执法机关沟通，了解退赃的具体原因、金额以及相关的法律依据。同时，也可以咨询专业律师，对退赃要求的合法性进行进一步的核实。

二. 按照法律程序配合处理

1. 退赃流程：虽然直接关于家属退赃款的具体流程在提供的法律依据中并未明确列出，但通常，退赃流程会涉及与执法机关的沟通、确认退赃金额、办理退赃手续等步骤。家属应积极配合执法机关的工作，按照要求提供必要的信息和材料。
2. 保护措施：在退赃过程中，如果家属认为自身或相关人员的合法权益受到侵害，可以依据《中华人民共和国刑事诉讼法》的相关规定，向人民法院、人民检察院或公安机关请求保护。例如，如果家属认为退赃要求存在不合法或不合理之处，可以提出异议并寻求法律救济。

三. 注意事项

• 家属在退赃过程中应保留好所有相关的证据和文件，以便日后可能出现的法律纠纷。
• 如果家属对退赃要求有疑虑或不确定如何处理，应及时咨询专业律师以获取法律建议。

我建议：家属在收到退赃要求时，应保持冷静并理性应对。首先核实退赃要求的合法性，然后按照法律程序配合处理。如有进一步需要，您可以继续咨询我。