关于留置人员退赃是否一定要家属给退的问题，这并非一个绝对的要求，而是需要根据具体情况和相关法律规定来综合判断。

首先，我们要明确的是，退赃是犯罪嫌疑人或被告人为了减轻或免除法律责任，主动将其非法所得的财物退还给国家或受害者的行为。这一行为在法律上是被鼓励的，因为积极退赃可以视为犯罪嫌疑人或被告人有悔罪表现，有助于其获得从宽处理。

现在，针对您的问题，我们可以从以下几个方面进行详细解答：

1. 退赃的主体：

   • 退赃的主体通常是犯罪嫌疑人或被告人本人。他们可以直接退缴赃款赃物，以表明其悔罪态度和配合调查的意愿。
   • 在某些情况下，如果犯罪嫌疑人或被告人因特殊原因（如被留置、羁押等）无法直接退赃，其家属或亲友可以在其委托或同意下代为退赃。但这种情况并非绝对要求，而是基于实际需要和法律规定的一种灵活处理方式。

2. 家属退赃的法律规定：

   • 根据相关法律规定，如果家属或亲友代为退赃，应当在相关笔录中记明，并由被调查人（即犯罪嫌疑人或被告人）出具书面说明或委托书，以证明退赃行为的合法性和真实性。
   • 同时，监察机关或司法机关在接收家属代为退赃时，也会进行严格的审查和核实，以确保退赃的财物确实属于犯罪嫌疑人或被告人的非法所得。

3. 退赃的认定与从宽处理：

   • 退赃的认定不仅要看退赃的数额和财物性质，还要看犯罪嫌疑人或被告人的退赃意愿、配合程度以及是否主动认罪认罚等因素。
   • 如果犯罪嫌疑人或被告人具有积极退赃、减少损失的情节，并且主动认罪认罚，那么监察机关或司法机关在提出从宽处罚建议时会予以考虑。但需要注意的是，提出从宽处罚建议并不意味着必然会对犯罪嫌疑人或被告人从宽处理，还需要综合考虑其他因素如案发前的一贯表现、行为发生的时间节点、违法犯罪事实的性质情节等。

4. 实际操作中的注意事项：

   • 如果家属或亲友考虑代为退赃，建议先与监察机关或司法机关进行沟通，了解具体的退赃程序和要求。
   • 在退赃过程中，要确保退赃的财物来源合法、数额准确，并保留好相关证据和凭证。
   • 同时，要积极配合监察机关或司法机关的调查和审查工作，如实提供相关信息和情况。

综上所述，留置人员退赃并不一定要家属给退，而是可以根据实际情况和法律规定由犯罪嫌疑人或被告人本人或其家属、亲友代为退赃。但无论哪种情况，都需要确保退赃的合法性和真实性，并积极配合监察机关或司法机关的调查和审查工作。