在诈骗案件中，诈骗所得用于家庭开支并不意味着可以不用退还。但在某些特定情况下，可能会影响退赔责任的承担方式或范围，不过这并不改变退赔的法定义务本质。以下从不同角度进行分析：

1. 共同犯罪中的家庭成员参与情况

   • 如果家庭成员与诈骗犯罪嫌疑人构成共同犯罪，例如家庭成员明知是诈骗所得而帮助转移、隐匿或使用，那么家庭成员也需要对诈骗所得承担退赔责任。在这种情况下，无论诈骗所得是否用于家庭开支，家庭成员都需与犯罪嫌疑人共同退赔。
   • 法律依据：根据《中华人民共和国刑法》第二十五条，共同犯罪是指二人以上共同故意犯罪。共同犯罪人需对共同犯罪造成的后果承担连带责任。

2. 家庭成员不知情且未参与犯罪的情况

   • 如果家庭成员对诈骗行为完全不知情，且没有参与诈骗犯罪的任何环节，那么他们通常不需要对诈骗所得承担退赔责任。但是，如果诈骗所得被用于家庭共同生活开支，且家庭成员因此受益，那么在司法实践中，可能会根据具体情况，要求家庭成员在受益范围内承担一定的退赔责任，但这并非绝对，需结合具体案情判断。
   • 法律考量：虽然家庭成员未参与犯罪，但受益行为可能构成对犯罪所得的间接占有或使用，从而在一定程度上影响退赔责任的承担。然而，这种责任通常较为有限，且需严格界定受益范围和程度。

3. 诈骗所得与家庭开支的区分

   • 即便诈骗所得部分或全部用于家庭开支，这并不改变其非法性质。退赔义务是针对诈骗行为本身，而非资金的具体用途。因此，从法律原则上讲，诈骗所得无论用于何处，都应予以退赔。
   • 实际操作：在司法实践中，如果诈骗所得与家庭其他合法收入混合使用，难以区分，那么可能会根据家庭实际经济状况、诈骗所得在家庭开支中的比例等因素，综合判断退赔责任的范围和方式。

4. 特殊情况下的退赔责任减免

   • 在极少数情况下，如果诈骗犯罪嫌疑人能够证明其诈骗所得并未用于家庭开支，或者家庭成员能够证明其对诈骗行为完全不知情且未受益，那么可能会在一定程度上减免家庭成员的退赔责任。但这需要严格的证据支持，且司法实践中对此类情况的认定较为谨慎。

总结与建议：

• 诈骗所得用于家庭开支并不构成免除退赔责任的法定理由。退赔义务是针对诈骗行为本身，需根据犯罪嫌疑人和家庭成员的具体行为、知情程度、受益情况等因素综合判断。
• 如果您或您的家人涉及诈骗案件，且诈骗所得被用于家庭开支，建议尽快咨询专业律师，了解具体案情下的法律责任和退赔义务。
• 在处理此类案件时，应积极配合司法机关的调查和审判工作，如实陈述事实，提供相关证据，以便司法机关准确判断退赔责任的范围和方式。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。