责令退赔通常不会直接影响到家人的财产或法律责任。责令退赔是司法机关对犯罪分子的一种处罚措施，要求其将非法所得或造成的损失退还给受害人。这一措施主要针对犯罪分子本人，旨在恢复受害人的权益，而非牵连其家人。
具体分析如下：
法律责任的独立性：在法律上，每个人的法律责任都是独立的。一个人因犯罪被责令退赔，不会导致其家人的法律责任增加或受到牵连。家人的财产和权益在法律上受到保护，不会因他人的犯罪行为而受损。
退赔义务的主体：责令退赔的义务主体是犯罪分子本人，而非其家人。家人没有义务代替犯罪分子承担退赔责任，除非他们自愿选择这样做。
家庭财产的保护：在法律上，家庭财产通常被视为家庭成员的共同财产，而非某个人的个人财产。因此，在责令退赔时，司法机关会尊重家庭财产的独立性，不会直接对家庭财产进行处置。
然而，值得注意的是，如果家人的财产与犯罪分子的非法所得或造成的损失有关联，例如家人参与了犯罪活动或明知是犯罪所得而予以窝藏、转移等，那么家人的财产可能会受到法律的追缴或冻结。但这种情况属于例外，并非责令退赔的常规后果。
综上所述，责令退赔通常不会直接影响到家人的财产或法律责任。如果家人面临相关法律问题或疑虑，建议及时向我咨询，以便获得更具体的法律建议和帮助。