赃款可以退给被害人家属，但需注意以下法律要点和程序：

1. 退赃的合法性与自愿性
   根据《刑法》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。退赃是犯罪嫌疑人/被告人主动履行法律义务的行为，通常需在司法机关（如公安机关、检察院、法院）的监督下进行。若您希望直接退给被害人家属，需先与办案机关沟通，确认退赃方式是否符合程序要求，避免因操作不当导致退赃无效或被认定为“私下交易”。

2. 退赃对量刑的影响
   主动退赃是法定的从轻、减轻处罚情节。根据《最高人民法院关于常见犯罪的量刑指导意见》，对于退赃、退赔的，综合考虑犯罪性质、退赃退赔行为对损害结果所能弥补的程度及退赃退赔数额等情况，可减少基准刑的30%以下。若直接退给被害人家属，需保留书面凭证（如收条、转账记录），并由办案机关确认，以确保退赃行为被司法机关认可。

3. 退赃与民事赔偿的区别

   • 退赃：针对违法所得，目的是恢复被害人的财产权益，通常由司法机关主导。
     
   • 民事赔偿：针对被害人因犯罪行为遭受的损失（如医疗费、误工费等），需通过刑事附带民事诉讼或单独民事诉讼解决。
     若您希望同时解决民事赔偿问题，需与被害人家属协商并签订书面协议，明确赔偿范围、金额及方式，避免后续纠纷。

4. 特殊情形下的注意事项

   • 赃款已被司法机关扣押：若赃款已被公安机关、检察院或法院扣押，您需通过办案机关退赃，由司法机关依法发还被害人或其家属。
     
   • 被害人家属拒绝接收：若被害人家属因情绪、利益分配等原因拒绝接收，您仍需将赃款交至办案机关，由司法机关依法处理。
     
   • 涉及多人共同犯罪：若案件涉及多人共同犯罪，退赃需按比例或共同协商进行，避免因退赃不均引发其他被告人或被害人的异议。

建议行动步骤：

1. 联系办案机关：主动向公安机关、检察院或法院说明退赃意愿，确认退赃方式（直接退给家属或通过司法机关）。
   
2. 保留证据：无论通过何种方式退赃，均需保留书面凭证（如收条、转账记录、办案机关出具的退赃证明）。
   
3. 咨询律师：若案件复杂（如涉及共同犯罪、民事赔偿争议等），建议委托律师协助处理退赃及量刑协商事宜。
   

如有进一步疑问或需具体指导，可直接向我咨询，我将结合案情为您提供详细方案。