当纪委或监委找家属谈话要求退赃时，家属首先需要保持冷静，并谨慎应对。以下是一些具体的建议：

一、了解清楚状况

1. 核实信息：确认谈话人员的身份和谈话地点的正规性，确保自己处于安全、合法的环境中。
2. 了解案情：尽可能通过合法途径了解涉案人员的具体情况，包括涉案金额、涉案性质等，以便对退赃事宜做出合理判断。

二、保护合法权益

1. 谨慎签字：在任何文件上签字前，务必仔细阅读并理解其内容，避免因为不了解情况而签署不利于自己的文件。
2. 避免非法取证：如果察觉到办案人员有非法取证的行为，应坚决拒绝，并寻求法律援助。

三、关于退赃的考虑

1. 明确退赃意义：退赃可以在一定程度上减轻涉案人员的刑事责任，但并不是唯一的量刑依据。家属应理性看待退赃的作用，不要过分迷信其效果。
2. 考虑家庭经济状况：在决定退赃前，应充分考虑家庭的经济状况，避免因退赃而给家庭带来过大的经济压力。
3. 区分违纪与违法：在退赃时，应尽可能区分违纪所得和违法所得，确保只退还违法所得部分。如果无法区分，可以等待案件进入检察院阶段再行处理。

四、与办案机关沟通

1. 保持沟通：与办案机关保持积极、有效的沟通，了解案件进展和退赃要求，以便及时做出响应。
2. 表达意愿：如果家属决定退赃，应明确表达退赃的意愿和金额，并询问具体的退赃方式和流程。

五、寻求法律援助

1. 咨询律师：在涉及退赃等复杂法律问题时，家属应咨询专业律师的意见，以便更好地维护自己的合法权益。
2. 了解法律程序：通过律师了解案件的法律程序和可能的结果，以便对退赃事宜做出更加明智的决策。

综上所述，当纪委或监委找家属谈话要求退赃时，家属应保持冷静、谨慎应对，并充分了解案情和退赃要求。在决定退赃前，应考虑家庭经济状况和退赃的意义，并与办案机关保持积极沟通。同时，寻求专业律师的法律援助也是维护自己合法权益的重要途径。