家人被留置期间，要求退赃并不必然需要告知家属，但特定情形下会通知家属。以下从不同角度进行分析：

一、退赃通知的常规流程

1. 司法机关优先通知犯罪嫌疑人：根据法律规定及司法实践，司法机关在发现犯罪嫌疑人存在违法所得需要追缴时，会首先向犯罪嫌疑人本人提出退赃要求。这是退赃程序的基本原则，旨在确保犯罪嫌疑人直接了解退赃义务。

2. 家属通知的例外情形：

   • 犯罪嫌疑人明确要求：若犯罪嫌疑人因被采取强制措施（如留置）无法自行退赃，且明确表示希望由家属代为退赃，司法机关会联系家属并告知退赃要求。
   • 司法机关认为必要：在特定情况下，如退赃程序复杂、涉及大额财物或需家属协助核实财产来源时，司法机关可能主动通知家属参与退赃。

二、家属在退赃中的角色与权利

1. 家属的协助义务：若犯罪嫌疑人要求家属代退赃，或司法机关认为家属协助是退赃的必要环节，家属有义务配合完成退赃。这包括提供财产证明、协助转移财物等。

2. 家属的知情权与申辩权：

   • 知情权：家属在接到退赃通知后，有权了解退赃的具体要求、范围及期限。
   • 申辩权：若家属对退赃事宜存在疑问或异议，可通过合法途径向司法机关提出申辩，要求说明理由或提供证据。

三、退赃对量刑的影响及家属的主动退赃意义

1. 退赃对量刑的积极作用：根据《中华人民共和国刑法》第六十三条，积极退赃退赔是减轻处罚的法定情节之一。犯罪嫌疑人或家属主动退赃，可体现悔罪态度，对量刑产生积极影响。

2. 家属主动退赃的意义：

   • 体现犯罪嫌疑人悔罪态度：家属主动退赃可间接证明犯罪嫌疑人的悔罪意愿，有助于争取从宽处理。
   • 减少财产损失：及时退赃可避免财物被长期扣押或没收，减少家庭财产损失。

四、实务建议

1. 保持沟通渠道畅通：若家人被留置，建议家属主动与司法机关保持联系，了解案件进展及退赃要求。即使未收到正式通知，也可通过合法途径询问退赃事宜。

2. 谨慎处理退赃事宜：在接到退赃通知后，家属应仔细核对退赃要求，确保退赃财物与通知一致。如有疑问，可要求司法机关出具书面说明或提供法律依据。

3. 寻求专业法律帮助：退赃程序涉及法律条款复杂，建议家属在处理退赃事宜时咨询专业律师，确保退赃行为合法有效，避免因程序瑕疵影响案件结果。

总结：家人被留置期间，退赃通知的发送对象以犯罪嫌疑人为主，但在特定情形下会通知家属。家属在退赃中既可能承担协助义务，也享有知情权与申辩权。主动退赃对量刑有积极作用，但需谨慎处理并寻求专业法律帮助。如有进一步疑问，可直接向我咨询。