结论是，家属是否需要退赃，取决于多个因素，包括赃款的去向、家属的知情情况以及法律的具体规定，不能一概而论。以下是从不同角度进行的分析：
一、赃款去向与家属责任
如果家属确实不知情：
- 在某些情况下，如果家属对赃款的去向（如被小三使用）确实不知情，且没有参与或协助转移赃款，那么从法律上讲，家属可能不承担直接的退赃责任。但需要注意的是，如果家属在事后知晓了赃款的情况，并选择了隐瞒或协助隐藏，那么就可能构成共犯或帮助犯，需要承担相应的法律责任。
如果家属知情并参与：
- 如果家属对赃款的去向知情，并且参与了赃款的转移或使用，那么家属就需要承担退赃的责任。因为家属的行为已经构成了对赃款的非法处置，违反了法律的规定。
二、法律具体规定与退赃义务
退赃的法律依据：
- 根据我国刑法的相关规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，如果赃款被用于非法目的或被非法占有，那么相关责任人（包括犯罪分子本人及其共犯）都有义务退赃。
家属的退赃义务：
- 家属是否需要退赃，还取决于其是否被认定为犯罪分子的共犯或帮助犯。如果家属被认定为共犯或帮助犯，并且参与了赃款的非法处置，那么就需要承担退赃的义务。如果家属没有被认定为共犯或帮助犯，且对赃款的去向不知情，那么可能不需要承担退赃的义务。但需要注意的是，如果家属在事后知晓了赃款的情况，并选择了隐瞒或协助隐藏，那么就可能改变其法律地位。
三、实际操作与建议
积极配合调查：
- 无论家属是否需要退赃，都应该积极配合纪委的调查工作。这有助于查清事实真相，保护家属的合法权益。
咨询专业律师：
- 在面对此类复杂法律问题时，建议家属咨询专业律师的意见。律师可以根据具体情况提供法律建议，帮助家属制定合理的应对策略。
考虑退赃的利弊：
- 如果家属确实需要退赃，那么应该权衡退赃的利弊。退赃可能有助于减轻犯罪分子的刑事责任，但也可能对家属的经济状况造成影响。因此，在做出决定前，应该充分考虑各种因素。
最后需要强调的是，每个案件的具体情况都是不同的，因此家属是否需要退赃不能一概而论。如果家属面临此类问题，建议直接向我咨询，以便根据具体情况提供准确的法律建议。