核心结论：能否要回伤残赔偿金中用于家庭的部分，需分情况讨论，主要取决于赔偿金的性质、使用情况以及家庭成员间的法律关系。以下分情况具体说明：

1. 若伤残赔偿金属于个人专属财产
   根据《民法典》第1063条，一方因身体受到伤害获得的医疗费、残疾人生活补助费等费用属于个人财产。若赔偿金明确约定仅用于您个人康复（如医疗费、护理费、辅助器具费等），即使实际用于家庭共同生活（如购买家电、支付子女学费等），您仍有权要求家庭成员返还。但需注意：

   • 若家庭成员能证明该支出是为您康复的必要辅助（如购买营养品、改善居住环境），可能被认定为合理使用，无需返还；
     
   • 若家庭成员擅自将赔偿金用于非您个人相关用途（如偿还家庭债务、投资等），您可要求返还，甚至通过诉讼主张权利。

2. 若伤残赔偿金包含家庭共同受益部分
   若赔偿金中包含因您伤残导致家庭收入减少的补偿（如被扶养人生活费、家庭劳务损失补偿等），这部分本身属于家庭共同财产，您无权单独要求返还。例如：

   • 被扶养人生活费是赔偿给依赖您收入生活的配偶、父母或子女的，若已用于其生活开支，您无权索回；
     
   • 家庭劳务损失补偿是赔偿您因伤残无法承担家务导致家庭额外支出的，若已实际用于雇佣保姆等，亦无需返还。

3. 若家庭成员间存在书面约定或协议
   若您与家庭成员曾签订书面协议（如赔偿金使用分配协议），明确约定部分款项归您个人所有，或约定特定用途（如“仅用于您后续治疗”），则家庭成员违反约定使用时，您可依据协议要求返还。

行动建议：

• 梳理赔偿金明细：先确认赔偿金中哪些属于个人专属（如医疗费、残疾辅助器具费），哪些属于家庭共同受益（如被扶养人生活费）；
  
• 收集使用证据：若认为家庭成员不当使用，需收集转账记录、消费凭证等证据，证明款项用途；
  
• 协商或诉讼：优先与家庭成员协商，若协商不成，可向法院起诉，主张返还个人专属部分。
  

如有进一步细节（如赔偿金具体构成、使用情况等），可直接向我咨询，我会结合具体情形为您分析。